Erläuterungen zum Aktualisieren von dynamischen Tabellen¶

Aktualisierungsmodi für dynamische Tabellen¶

Die Aktualisierung einer dynamischen Tabelle kann auf eine von zwei Arten erfolgen:

1. Inkrementelle Aktualisierung: Dieser automatische Prozess analysiert die Abfrage der dynamischen Tabelle und berechnet die Änderungen seit der letzten Aktualisierung. Anschließend werden diese Änderungen in die Tabelle eingefügt. Weitere Informationen zu unterstützten Abfragen finden Sie unter Unterstützte Abfragen bei der inkrementellen Aktualisierung.

2. Vollständige Aktualisierung: Wenn der automatisierte Prozess keine inkrementelle Aktualisierung ausführen kann, wird eine vollständige Aktualisierung ausgeführt. Dabei wird die Abfrage für die dynamische Tabelle ausgeführt und die vorherigen materialisierten Ergebnisse werden vollständig ersetzt.

Die in der Abfrage verwendeten Konstrukte bestimmen, ob eine inkrementelle Aktualisierung verwendet werden kann. Nachdem Sie eine dynamische Tabelle erstellt haben, können Sie die Tabelle überwachen, um festzustellen, ob zur Aktualisierung dieser Tabelle inkrementelle oder vollständige Aktualisierungen verwendet werden.

Erläuterungen zur Zielverzögerung¶

Die Aktualisierung dynamischer Tabellen wird ausgelöst, je nachdem, wie veraltet die Daten sind, was gemeinhin als Zielverzögerung (engl. target lag) bezeichnet wird. Die Zielverzögerung für eine dynamische Tabelle wird relativ zu den Basistabellen an der Wurzel (root) des Diagramms gemessen, nicht zu den dynamischen Tabellen direkt davor. Snowflake plant die Aktualisierungen so, dass die tatsächliche Verzögerung Ihrer dynamischen Tabellen unter der Zielverzögerung bleibt. Die Dauer der einzelnen Aktualisierungen hängt von der Abfrage, dem Datenmuster und der Warehouse-Größe ab. Berücksichtigen Sie bei der Wahl der Zielverzögerung die Zeit, die benötigt wird, um jede dynamische Tabelle in einer Kette bis zur Root zu aktualisieren. Wenn Sie dies nicht tun, werden möglicherweise einige Aktualisierungen übersprungen, was zu einer höheren tatsächlichen Verzögerung führt.

Das Diagramm der Tabellen, die mit Ihrer dynamischen Tabelle verbunden sind, finden Sie unter Verwenden von Snowsight zum Untersuchen des Task-Graphen von dynamischen Tabellen.

Für das Angeben der Zielverzögerung gibt es zwei Möglichkeiten:

1. Measure der Aktualität: Definiert die maximale Zeitspanne, die der Inhalt der dynamischen Tabelle hinter den Aktualisierungen der Basistabellen zurückbleiben darf.

   Im folgenden Beispiel wird die dynamische Tabelle product so eingestellt, dass sie stündlich aktualisiert wird:

   ALTER DYNAMIC TABLE product SET TARGET_LAG = '1 hour';
   

   Copy

2. Downstream: Gibt an, dass die dynamische Tabelle bei Bedarf aktualisiert werden soll, wenn andere abhängige dynamische Tabellen aktualisiert werden. Diese Aktualisierung kann durch eine manuelle oder geplante Aktualisierung einer nachgelagerten dynamischen Tabelle ausgelöst werden.

   Im folgenden Beispiel basiert product auf anderen dynamischen Tabellen und ist so eingestellt, dass es auf der Grundlage der Zielverzögerung seiner nachgelagerten dynamischen Tabellen aktualisiert wird:

   ALTER DYNAMIC TABLE product SET TARGET_LAG = DOWNSTREAM;
   

   Copy

Die Zielverzögerung ist umgekehrt proportional zur Aktualisierungshäufigkeit der dynamischen Tabelle: häufige Aktualisierungen bedeuten eine geringere Verzögerung.

Betrachten Sie das folgende Beispiel, bei dem die dynamische Tabelle 2 (DT2) auf der Grundlage der dynamischen Tabelle 1(DT1) definiert wird. DT2 muss von DT1 lesen, um seine Inhalte zu materialisieren. Darüber hinaus nutzt ein Bericht über eine Abfrage Daten aus DT2.

Die folgenden Ergebnisse sind möglich, je nachdem, wie jede dynamische Tabelle ihre Verzögerung angibt:

Unterstützte Abfragen bei der inkrementellen Aktualisierung¶

In der Tabelle unten sind die Ausdrücke, Schlüsselwörter und Klauseln beschrieben, die derzeit inkrementelle Aktualisierungen unterstützen. Eine Liste der Abfragen, die inkrementelle Aktualisierungen nicht unterstützen, finden Sie unter Einschränkungen bei der Unterstützung der inkrementellen Aktualisierung.

Derzeit werden seitliche Verknüpfungen (Lateral Joins) bei der inkrementellen Aktualisierung nicht unterstützt. Sie können jedoch LATERAL mit FLATTEN() verwenden, indem Sie den Aktualisierungsmodus auf INCREMENTAL einstellen.

Beispiel:

CREATE TABLE persons
  AS
    SELECT column1 AS id, parse_json(column2) AS entity
    FROM values
      (12712555,
      '{ name:  { first: "John", last: "Smith"},
        contact: [
        { business:[
          { type: "phone", content:"555-1234" },
          { type: "email", content:"j.smith@company.com" } ] } ] }'),
      (98127771,
      '{ name:  { first: "Jane", last: "Doe"},
        contact: [
        { business:[
          { type: "phone", content:"555-1236" },
          { type: "email", content:"j.doe@company.com" } ] } ] }') v;

CREATE DYNAMIC TABLE example
  TARGET_LAG = DOWNSTREAM
  WAREHOUSE = mywh
  REFRESH_MODE = INCREMENTAL
  AS
    SELECT p.id, f.value, f.path
    FROM persons p,
    LATERAL FLATTEN(input => p.entity) f;

Inkrementelle Aktualisierungen durch Operatoren¶

Die folgende Tabelle zeigt, wie jeder Operator inkrementiert wird (d. h. wie er in ein neues Abfrage-Fragment umgewandelt wird, das Änderungen anstelle von vollständigen Ergebnissen generiert) sowie seine Leistung und andere wichtige Faktoren, die zu berücksichtigen sind.

CREATE DYNAMIC TABLE sums
  AS
    SELECT date_trunc(minute, ts), sum(c1) FROM table
    GROUP BY 1;

CREATE DYNAMIC TABLE intermediate
  AS
    SELECT date_trunc(minute, ts) ts_min, c1 FROM table;

CREATE DYNAMIC TABLE sums
  AS
    SELECT ts_min, sum(c1) FROM intermediate
    GROUP BY 1;

Unterstützte nicht deterministische Funktionen in vollständiger Aktualisierung¶

Die folgenden nicht deterministischen Funktionen werden in dynamischen Tabellen unterstützt. Beachten Sie, dass diese Funktionen nur für vollständige Aktualisierungen unterstützt werden. Eine Liste der nicht unterstützten Funktionen für die inkrementelle Aktualisierung finden Sie unter Einschränkungen bei der Unterstützung der inkrementellen Aktualisierung.

• Flüchtige (VOLATILE) benutzerdefinierte Funktionen

• Sequenzfunktionen (z. B. SEQ1, SEQ2)

• Die folgenden Kontextfunktionen:

  • CURRENT_ROLE

  • CURRENT_WAREHOUSE

  • CURRENT_ACCOUNT

  • CURRENT_REGION

• Die folgenden Funktionen für Datum/Uhrzeit (zusammen mit ihren jeweiligen Aliassen):

  • CURRENT_DATE

  • CURRENT_TIME

  • CURRENT_TIMESTAMP

Aktualisieren von Daten, wenn dynamische Tabellen von anderen dynamischen Tabellen abhängen¶

Wenn die Verzögerung einer dynamischen Tabelle als Measure angegeben wird, ermittelt der automatische Aktualisierungsprozess den Zeitplan für die Aktualisierungen auf Grundlage der Zielverzögerungszeiten der dynamischen Tabellen. Der Prozess wählt den Zeitplan aus, der die angestrebten Verzögerungszeiten der Tabellen am besten erfüllt.

Um die Daten konsistent zu halten, wenn eine dynamische Tabelle von einer anderen abhängt, aktualisiert der Prozess alle dynamischen Tabellen in einem Konto zu kompatiblen Zeiten. Der Zeitpunkt der weniger häufigen Aktualisierungen stimmt mit dem Zeitpunkt der häufigeren Aktualisierungen überein.

Angenommen, eine dynamische Tabelle A hat eine Zielverzögerung von 2 Minuten und fragt eine dynamische Tabelle B ab, die eine Zielverzögerung von 1 Minute hat. Der Prozess könnte festlegen, dass A alle 96 Sekunden aktualisiert werden soll und B alle 48 Sekunden. Im Ergebnis könnte der Prozess folgenden Zeitplan anwenden:

Das bedeutet, dass Sie bei der Abfrage einer Menge von dynamischen Tabellen, die voneinander abhängen, zu jedem Zeitpunkt denselben „Snapshot“ der Daten in diesen Tabellen abfragen.

Beachten Sie, dass die Zielverzögerung einer dynamischen Tabelle nicht kürzer sein kann als die Zielverzögerung der dynamischen Tabellen, von denen sie abhängt. Folgendes wird angenommen:

• Die dynamische Tabelle A fragt die dynamischen Tabellen B und C ab.

• Die dynamische Tabelle B hat eine Zielverzögerung von 5 Minuten.

• Die dynamische Tabelle C hat eine Zielverzögerung von 1 Minute.

Das bedeutet, dass die Zielverzögerungszeit für A nicht kürzer als 5 Minuten sein darf (d. h. nicht kürzer als die längere der Verzögerungszeiten für B und C).

Wenn Sie die Verzögerung für A auf 5 Minuten einstellen, erstellt der Prozess einen Aktualisierungsplan mit folgenden Zielen:

• Aktualisiere C häufig genug, um die Verzögerung unter 1 Minute zu halten.

• Aktualisiere A und B zusammen und häufig genug, um deren Verzögerungen unter 5 Minuten zu halten.

• Stelle sicher, dass die Aktualisierung von A und B mit einer Aktualisierung von C zusammenfällt, um die Isolation des Snapshots sicherzustellen.

Hinweis: Wenn die Aktualisierungen zu lange dauern, überspringt der Zeitplan möglicherweise Aktualisierungen, um auf dem neuesten Stand zu bleiben. Die Snapshot-Isolation bleibt jedoch erhalten.