Optimieren von Abfragen für inkrementelle Aktualisierungen¶

Operatoren, die gleichbleibend gute Leistung bieten¶

Diese Operatoren arbeiten effizient mit der inkrementellen Aktualisierung:

• SELECT

• WHERE

• FROM-<base table>

• UNION ALL

• QUALIFY [ RANK | ROW_NUMBER | DENSE_RANK ] … = 1

Weitere Informationen dazu, wie Snowflake die einzelnen Operatoren verarbeitet, finden Sie in der -Operatoren-Referenztabelle.

Von Datenlokalität betroffene Operatoren¶

Für diese Operatoren hängt die Leistung von der Datenlokalität ab, also davon, wie Sie Ihre Daten organisieren und wo Änderungen in Bezug auf Ihre Schlüsseln auftreten:

• INNER JOIN

• OUTER JOIN

• GROUP BY

• DISTINCT

• OVER (Fensterfunktionen)

Wenn Änderungen nur einen kleinen Teil der Gruppierungs- oder Partitionsschlüssel betreffen, funktionieren diese Operatoren gut. Eine schlechte Datenlokalität oder Änderungen, die auf viele Schlüssel verteilt sind, können dazu führen, dass die inkrementelle Aktualisierung langsamer ist als die vollständige Aktualisierung.

Weitere Informationen dazu, wie Snowflake die einzelnen Operatoren verarbeitet, finden Sie in der -Operatoren-Referenztabelle.

Optimieren von Aggregationen¶

Wenn Sie GROUP BY verwenden, berechnet Snowflake die Aggregate für jeden Gruppierungsschlüssel neu, der Änderungen enthält. Die Verarbeitungsleistung hängt von folgenden Faktoren ab:

• Daten-Clustering: Nach Gruppierungsschlüsseln geclusterte Quelldaten schneiden am besten ab.

• Änderungsverteilung: Ziel sind Änderungen, die weniger als fünf Prozent der Gruppierungsschlüssel betreffen.

• Schlüsselkomplexität: Einfache Spaltenreferenzen sind leistungsfähiger als zusammengesetzte Ausdrücke.

CREATE DYNAMIC TABLE hourly_sums
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT DATE_TRUNC('minute', ts), SUM(amount)
  FROM transactions
  GROUP BY 1;

CREATE DYNAMIC TABLE transactions_with_minute
  TARGET_LAG = DOWNSTREAM
  WAREHOUSE = my_warehouse
AS
  SELECT DATE_TRUNC('minute', ts) AS ts_minute, amount
  FROM transactions;

CREATE DYNAMIC TABLE hourly_sums
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT ts_minute, SUM(amount)
  FROM transactions_with_minute
  GROUP BY 1;

Optimieren von Verknüpfungen¶

Die Verknüpfungsleistung hängt davon ab, welche Seite sich ändert und wie Sie die Daten clustern.

INNER JOIN: Snowflake verknüpft dann Änderungen von der linken Seite mit der rechten Tabelle und dann Änderungen von der rechten Seite mit der linken Tabelle. Verknüpfungen funktionieren gut, wenn eine Seite klein ist oder sich nur selten ändert.

OUTER JOIN: Snowflake muss auch NULL-Werte für nicht übereinstimmende Zeilen berechnen. Welche Seite sich ändert, wirkt sich erheblich auf die Leistung aus.

CREATE DYNAMIC TABLE order_details
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT o.order_id, o.customer_id, p.product_name, o.quantity
  FROM orders o
  JOIN products p ON o.product_id = p.product_id;

ALTER TABLE products CLUSTER BY (product_id);

CREATE DYNAMIC TABLE order_details
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT o.order_id, o.customer_id, p.product_name, o.quantity
  FROM orders o
  JOIN products p ON o.product_id = p.product_id;

Optimieren der Fensterfunktionen¶

Snowflake führt die Neuberechnungen für Fensterfunktionen für jeden Partitionsschlüssel durch, der Änderungen enthält. Optimieren Sie sie ähnlich wie GROUP BY.

Wichtigste Anforderungen:

• Fügen Sie immer eine PARTITION BY-Klausel hinzu. Fensterfunktionen ohne PARTITION BY führen zu einer vollständigen Neuberechnung.

• Clustern Sie die Quelldaten nach Partitionsschlüsseln.

• Begrenzen Sie Änderungen auf weniger als fünf Prozent der Partitionen.

CREATE DYNAMIC TABLE ranked_sales
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT
    region,
    salesperson,
    amount,
    RANK() OVER (PARTITION BY region ORDER BY amount DESC) as sales_rank
  FROM daily_sales;

ALTER TABLE daily_sales CLUSTER BY (region);

CREATE DYNAMIC TABLE ranked_sales
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT
    region,
    salesperson,
    amount,
    RANK() OVER (PARTITION BY region ORDER BY amount DESC) as sales_rank
  FROM daily_sales;

Effizientes Entfernen von Duplikaten (DISTINCT vs. QUALIFY)¶

Sowohl DISTINCT als auch QUALIFY können Duplikate entfernen, aber sie funktionieren anders.

DISTINCT: Dies ist äquivalent zu GROUP BY ALL. Lokalität wirkt sich direkt auf die Leistung aus; schlechte Lokalität führt zu langsamen Aktualisierungen.

QUALIFY mit ROW_NUMBER = 1: Snowflake optimiert das Muster QUALIFY ROW_NUMBER() ... = 1, wenn es in der obersten Projektionsebene der dynamischen Tabelle enthalten ist. Dieses Muster wird durchgängig schneller ausgeführt als eine vollständige Aktualisierung.

Die Optimierung funktioniert am besten, wenn alle PARTITION BY- und ORDER BY-Schlüssel in der OVER()-Klausel in der dynamischen Tabelle (in der obersten Projektionsebene enthalten) beibehalten werden.

CREATE DYNAMIC TABLE unique_customers
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT DISTINCT customer_id, customer_name, email
  FROM customer_events;

CREATE DYNAMIC TABLE unique_customers
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT customer_id, customer_name, email, event_time
  FROM customer_events
  QUALIFY ROW_NUMBER() OVER (PARTITION BY customer_id ORDER BY event_time DESC) = 1;