Otimizar consultas para atualização incremental¶

Operadores que apresentam bom desempenho de forma consistente¶

Estes operadores funcionam de maneira eficiente com a atualização incremental:

• SELECT

• WHERE

• FROM <base table>

• UNION ALL

• QUALIFY [ RANK | ROW_NUMBER | DENSE_RANK ] … = 1

Para obter detalhes sobre como o Snowflake processa cada operador, consulte a tabela de referência de operadores.

Operadores afetados pela localidade de dados¶

Para esses operadores, o desempenho depende da localidade de dados, que é como você organiza os dados e onde ocorrem as alterações em relação às chaves:

• INNER JOIN

• OUTER JOIN

• GROUP BY

• DISTINCT

• OVER (funções de janela)

Quando as alterações afetam apenas uma pequena parte das chaves de agrupamento ou de partição, esses operadores têm bom desempenho. Uma localidade de dados ruim ou alterações distribuídas por muitas chaves pode tornar a atualização incremental mais lenta do que a atualização completa.

Para obter detalhes sobre como o Snowflake processa cada operador, consulte a tabela de referência de operadores.

Otimizar agregações¶

Quando você usa GROUP BY, o Snowflake recomputa as agregações de cada chave de agrupamento que contém alterações. O desempenho depende dos seguintes fatores:

• Clustering de dados: os dados de origem clusterizados por chaves de agrupamento têm um melhor desempenho.

• Alterar distribuição: procure alterações que afetem menos de 5% das chaves de agrupamento.

• Complexidade de chaves: as referências de coluna simples superam as expressões compostas.

CREATE DYNAMIC TABLE hourly_sums
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT DATE_TRUNC('minute', ts), SUM(amount)
  FROM transactions
  GROUP BY 1;

CREATE DYNAMIC TABLE transactions_with_minute
  TARGET_LAG = DOWNSTREAM
  WAREHOUSE = my_warehouse
AS
  SELECT DATE_TRUNC('minute', ts) AS ts_minute, amount
  FROM transactions;

CREATE DYNAMIC TABLE hourly_sums
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT ts_minute, SUM(amount)
  FROM transactions_with_minute
  GROUP BY 1;

Otimizar junções¶

O desempenho da junção depende de qual lado muda e como você clusteriza os dados.

INNER JOIN: o Snowflake une as alterações a partir do lado esquerdo à tabela direita, depois une as alterações a partir do lado direito à tabela esquerda. As junções têm bom desempenho quando um lado é pequeno ou muda com pouca frequência.

OUTER JOIN: o Snowflake também deve calcular valores NULL para linhas não correspondentes. O lado que muda afeta significativamente o desempenho.

CREATE DYNAMIC TABLE order_details
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT o.order_id, o.customer_id, p.product_name, o.quantity
  FROM orders o
  JOIN products p ON o.product_id = p.product_id;

ALTER TABLE products CLUSTER BY (product_id);

CREATE DYNAMIC TABLE order_details
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT o.order_id, o.customer_id, p.product_name, o.quantity
  FROM orders o
  JOIN products p ON o.product_id = p.product_id;

Otimizar funções de janela¶

O Snowflake recomputa as funções de janela para cada chave de partição com alterações. Otimize-as de forma semelhante a GROUP BY.

Principais requisitos:

• Sempre inclua uma cláusula PARTITION BY. Funções de janela sem PARTITION BY resultam em uma recomputação completa.

• Clusterize os dados de origem por chaves de partição.

• Mantenha as alterações em menos de 5% das partições.

CREATE DYNAMIC TABLE ranked_sales
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT
    region,
    salesperson,
    amount,
    RANK() OVER (PARTITION BY region ORDER BY amount DESC) as sales_rank
  FROM daily_sales;

ALTER TABLE daily_sales CLUSTER BY (region);

CREATE DYNAMIC TABLE ranked_sales
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT
    region,
    salesperson,
    amount,
    RANK() OVER (PARTITION BY region ORDER BY amount DESC) as sales_rank
  FROM daily_sales;

Remover duplicatas com eficiência (DISTINCT ou QUALIFY)¶

Ambos DISTINCT e QUALIFY podem remover duplicatas, mas eles funcionam de forma diferente.

DISTINCT: É equivalente a GROUP BY ALL. A localidade afeta diretamente o desempenho; uma localidade ruim causa atualizações lentas.

QUALIFY com ROW_NUMBER = 1: o Snowflake otimiza o padrão QUALIFY ROW_NUMBER() ... = 1 quando está na projeção de nível superior da tabela dinâmica. Esse padrão é executado de forma mais rápida e consistente do que a atualização completa.

A otimização funciona melhor quando todas as chaves PARTITION BY e ORDER BY na cláusula OVER() são persistentes na tabela dinâmica (incluídas na projeção de nível superior).

CREATE DYNAMIC TABLE unique_customers
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT DISTINCT customer_id, customer_name, email
  FROM customer_events;

CREATE DYNAMIC TABLE unique_customers
  TARGET_LAG = '1 hour'
  WAREHOUSE = my_warehouse
AS
  SELECT customer_id, customer_name, email, event_time
  FROM customer_events
  QUALIFY ROW_NUMBER() OVER (PARTITION BY customer_id ORDER BY event_time DESC) = 1;