Einfluss des Aktualisierungsmodus auf die Performance dynamischer Tabellen¶

Erläuterungen zur Leistung der inkrementellen Aktualisierung¶

Bei einer inkrementellen Aktualisierung entfällt der meiste Aufwand auf die Berechnung von Änderungen in der dynamischen Tabelle. Dies hängt von der Abfrage ab und kann recht komplex sein. Ein häufiges Missverständnis ist, dass eine inkrementelle Aktualisierung nur die Änderungen in den Quelltabellen durchsucht, nicht die Quelltabellen selbst. Dies kann zu dem Missverständnis führen, dass eine inkrementelle Aktualisierung nur Aufwand im Verhältnis zur Menge der geänderten Quelldaten entstehen sollte, was nicht der Fall ist. In der Realität muss bei inkrementellen Aktualisierungen oft direkt die Quelltabellen gescannt werden.

Stellen Sie sich zum Beispiel eine Abfrage vor, die eine innere Verknüpfung zwischen den Tabellen A und B vornimmt. Wenn eine Zeile in Tabelle A eingefügt wird, muss sie mit Tabelle B verknüpft werden, um Änderungen in der Abfrage zu berechnen. Diese einzelne Zeile in A kann mit vielen Zeilen in B verknüpft werden, was eine Menge Arbeit bedeuten kann, auch wenn es nur wenige Änderungen in den Quellen gibt.

Dieser Mehraufwand kann bei verschiedenen Operatoren anfallen. Die inkrementelle Aktualisierung verarbeitet neue Daten und überspringt die Arbeit, die bereits erledigt wurde. Die Entscheidung, was übersprungen werden soll, kann zusätzlichen Aufwand erfordern, insbesondere bei komplexen Abfragen, und verschiedene Operatoren können Arbeit auf unterschiedliche Weise überspringen.

Normalerweise beeinflussen der Umfang der Änderungen und die Lokalität, wie viel Workload übersprungen werden kann.

Einfluss des Änderungsumfangs auf die Leistung der inkrementellen Aktualisierung¶

Der wichtigste Faktor, der die Leistung der inkrementellen Aktualisierung beeinflusst, ist der Umfang der Änderungen in den Quelldaten. Wenn Sie den Umfang der Änderungen für die Aktualisierung Ihrer dynamischen Tabellen bestimmen, stellen Sie sicher, dass Sie die kopierten Zeilen mitzählen. Eine DML, die einige Zeilen in einer Mikropartition ändert, kopiert auch die unveränderten Zeilen aus dieser Mikropartition in eine neue Mikropartition.

Um die Anzahl der geänderten Zeilen in einer Basistabelle zu analysieren, erstellt einen Stream auf der Basistabelle zum Zeitpunkt der letzten Aktualisierung und verwendet SYSTEM$STREAM_BACKLOG. Beispiel:

CREATE STREAM mystream ON TABLE mybasetable BEFORE(STATEMENT => 'last refresh UUID');

SELECT * FROM SYSTEM$STREAM_BACKLOG('mystream');

Betrachten Sie als extremes Beispiel die Auswirkung des Löschens aller Daten aus einer Quelle: eine vollständige Aktualisierung sieht nur eine leere Tabelle, die sehr schnell verarbeitet werden kann. Im Gegensatz dazu muss bei einer inkrementellen Aktualisierung jede gelöschte Zeile verarbeitet werden, wodurch dieser Modus viel langsamer ist.

Ähnliche Verlangsamungen können auch in weniger extremen Fällen auftreten. Eine gute Richtwert für einen günstigen Workload ist es, wenn Änderungen im Ursprung oder Ziel auf weniger als 5 % der Zeilen begrenzt sind.

Einfluss der Lokalität auf die Leistung der inkrementellen Aktualisierung¶

Der zweitwichtigste Faktor, der sich auf die inkrementelle Aktualisierung auswirkt, ist die Lokalität, die sich darauf bezieht, wie eng Daten oder Aktionen entlang verschiedener Dimensionen miteinander verbunden sind.

Wenn Sie beispielsweise eine Tabelle mit einer Zeitstempelspalte haben und immer Zeilen mit der aktuellen Zeit in dieser Spalte einfügen, dann besteht bei Ihrem Workload eine starke Lokalität zwischen der Einfügereihenfolge und der Zeitstempelspalte.

Lokalität kann sich in verschiedenen Formen zeigen, aber einige sind besonders wichtig für die inkrementelle Aktualisierung. Die Verbesserung der Lokalität in einem der folgenden Bereiche steigert die Leistung von inkrementellen Aktualisierungen, obwohl es nicht immer möglich ist, in allen drei Kategorien eine starke Lokalität zu haben.

Leistungserwartungen bei inkrementellen Aktualisierungen einzelner Operatoren¶

Die folgende Tabelle zeigt die ungefähre Leistungserwartung für inkrementelle Aktualisierungen der einzelnen Operatoren. Die Leistung wird im Vergleich zu einer vollständigen Aktualisierung gemessen, wobei davon ausgegangen wird, dass sich nur 5 % der Zeilen geändert haben und die Aktualisierungsjobs mindestens 1 Minute dauern.

Für Operatoren, die von Lokalität betroffen sind, zeigt die Tabelle die Leistungserwartungen bei guter und schlechter Lokalität. Beachten Sie, dass bei einigen Operatoren eine schlechte Lokalität zu einer schlechteren Leistung führen kann als eine vollständige Aktualisierungen.

Weitere Informationen dazu finden Sie unter Inkrementelle Aktualisierungen durch Operatoren.

Optimieren der Leistung inkrementeller Aktualisierungen bei komplexen dynamischen Tabellen¶

Dynamische Tabellen enthalten in der Regel mehrere Operatoren, sodass es schwieriger ist, ihre Leistung bei inkrementellen Aktualisierungen vorherzusagen. In diesem Abschnitt erfahren Sie, wie Sie mit dieser Herausforderung umgehen können, und erhalten einige Tipps zur Verbesserung der Leistung bei komplexen dynamischen Tabellen.

Wenn mehrere Operatoren beteiligt sind, berechnen inkrementelle Aktualisierungen Änderungen, indem sie jeden Operator separat bearbeiten und ihn in ein Fragment eines Abfrageplans verwandeln, der Änderungen auf der Grundlage seiner Eingaben berechnen kann. Für jede Eingabe kann dieses neue Fragment die Eingabe vor den Änderungen, nach den Änderungen oder nur die Änderungen selbst anfordern. Wenn Sie diesen Prozess auf jeden Operator in der ursprünglichen Abfrage anwenden, erhalten Sie einen neuen Abfrageplan, der die Änderungen mit einer Mischung aus Änderungs-Scans und vollständigen Tabellen-Scans berechnet. Dieser Plan wird von der Snowflake-Abfrageoptimierung optimiert und wie jede andere Abfrage ausgeführt.

Wenn eine inkrementelle Aktualisierung nicht gut funktioniert, liegt das in der Regel daran, dass es zu viele Änderungen gibt oder die Lokalität schlecht ist. Komplexe Abfragen machen es schwieriger, diese Probleme zu erkennen. Die Leistung von inkrementellen Operatoren hängt in der Regel von der Menge der Änderungen und der Lokalität ihrer Eingaben ab. Diese Eingaben sind jedoch die Ausgaben anderer Operatoren, sodass sich die Menge und Lokalität der Daten beim Durchlaufen der Operatoren ändern können.

Um die Leistung einer komplexen inkrementellen Aktualisierung zu verstehen, muss die Eingaben jedes Operators separat betrachtet werden. Im Folgenden finden Sie einige gängige Szenarios und Vorschläge, wie Sie das Problem angehen können: