Optimiser les requêtes pour l’actualisation incrémentielle¶

Opérateurs qui fonctionnent toujours bien¶

Ces opérateurs fonctionnent efficacement avec une actualisation incrémentielle :

• SELECT

• WHERE

• FROM <base table>

• UNION ALL

• QUALIFY [ RANK | ROW_NUMBER | DENSE_RANK ] … = 1

Pour plus de détails sur la façon dont Snowflake traite chaque opérateur, voir la table de référence des opérateurs.

Opérateurs concernés par la localité des données¶

Pour ces opérateurs, la performance dépend de la localité des données, qui correspond à la manière d’organiser vos données et à l’endroit où les changements se produisent par rapport à vos clés :

• INNER JOIN

• OUTER JOIN

• GROUP BY

• DISTINCT

• OVER (fonctions de fenêtre)

Lorsque les modifications n’affectent qu’une petite partie des clés de regroupement ou de partition, ces opérateurs fonctionnent bien. Une faible localité des données ou des modifications réparties sur de nombreuses clés peuvent rendre l’actualisation incrémentielle plus lente par rapport à l’actualisation complète.

Pour plus de détails sur la façon dont Snowflake traite chaque opérateur, voir la table de référence des opérateurs.

Optimiser les agrégations¶

Lorsque vous utilisez GROUP BY, Snowflake recalcule les agrégats pour chaque clé de regroupement contenant des modifications. Les performances dépendent des facteurs suivants :

• Clustering de données : Les données sources regroupées par clés de regroupement sont les plus performantes.

• Modifier la distribution : Visez des changements qui affectent moins de 5 % des clés de regroupement.

• Complexité des clés : Les références de colonnes simples sont plus performantes que les expressions composées.

CREATE DYNAMIC TABLE hourly_sums
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT DATE_TRUNC('minute', ts), SUM(amount)
  FROM transactions
  GROUP BY 1;

CREATE DYNAMIC TABLE transactions_with_minute
  TARGET_LAG = DOWNSTREAM
  WAREHOUSE = my_warehouse
AS
  SELECT DATE_TRUNC('minute', ts) AS ts_minute, amount
  FROM transactions;

CREATE DYNAMIC TABLE hourly_sums
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT ts_minute, SUM(amount)
  FROM transactions_with_minute
  GROUP BY 1;

Optimiser les jointures¶

La performance de la jointure dépend des changements de côté et de la manière de regrouper les données.

INNER JOIN : Snowflake joint les modifications du côté gauche à la table de droite, puis joint les modifications du côté droit à la table de gauche. Les jointures fonctionnent bien lorsqu’un côté est petit ou change peu souvent.

OUTER JOIN : Snowflake doit aussi calculer les valeurs NULL pour les lignes ne correspondant pas. Les changements de côté affectent considérablement la performance.

CREATE DYNAMIC TABLE order_details
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT o.order_id, o.customer_id, p.product_name, o.quantity
  FROM orders o
  JOIN products p ON o.product_id = p.product_id;

ALTER TABLE products CLUSTER BY (product_id);

CREATE DYNAMIC TABLE order_details
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT o.order_id, o.customer_id, p.product_name, o.quantity
  FROM orders o
  JOIN products p ON o.product_id = p.product_id;

Optimiser les fonctions de fenêtre¶

Snowflake recalcule les fonctions de fenêtre pour chaque clé de partition contenant des modifications. Optimisez-les de la même manière que GROUP BY.

Exigences relatives aux clés :

• Toujours inclure une clause PARTITION BY. Les fonctions de fenêtre sans PARTITION BY donne lieu à un recalcul complet.

• Regrouper les données sources par clés de partition.

• Maintenez les modifications à moins de 5 % des partitions.

CREATE DYNAMIC TABLE ranked_sales
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT
    region,
    salesperson,
    amount,
    RANK() OVER (PARTITION BY region ORDER BY amount DESC) as sales_rank
  FROM daily_sales;

ALTER TABLE daily_sales CLUSTER BY (region);

CREATE DYNAMIC TABLE ranked_sales
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT
    region,
    salesperson,
    amount,
    RANK() OVER (PARTITION BY region ORDER BY amount DESC) as sales_rank
  FROM daily_sales;

Supprimer efficacement les doublons (DISTINCT et QUALIFY)¶

DISTINCT et QUALIFY peuvent supprimer les doublons, mais ils fonctionnent différemment.

DISTINCT : Est équivalent à GROUP BY ALL. La localité affecte directement les performances ; une faible localité entraîne des actualisations lentes.

QUALIFY avec ROW_NUMBER = 1 : Snowflake optimise le modèle QUALIFY ROW_NUMBER() ... = 1 lorsqu’il se trouve dans la projection de niveau supérieur de la table dynamique. Ce modèle fonctionne systématiquement plus rapidement qu’une actualisation complète.

L’optimisation fonctionne mieux lorsque toutes les clés PARTITION BY et ORDER BY dans la clause OVER() sont conservées dans la table dynamique (incluse dans la projection de niveau supérieur).

CREATE DYNAMIC TABLE unique_customers
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT DISTINCT customer_id, customer_name, email
  FROM customer_events;

CREATE DYNAMIC TABLE unique_customers
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT customer_id, customer_name, email, event_time
  FROM customer_events
  QUALIFY ROW_NUMBER() OVER (PARTITION BY customer_id ORDER BY event_time DESC) = 1;