Clustering automático¶

Benefícios do Clustering automático¶

Uso de crédito e warehouses para Clustering automático¶

O Clustering automático consome créditos do Snowflake, mas não requer que você forneça um warehouse virtual. Em vez disso, o Snowflake gerencia internamente e alcança uma utilização eficiente dos recursos para o reclustering de tabelas.

Sua conta é faturada somente pelos créditos reais consumidos pelas operações de clustering automático em suas tabelas clusterizadas.

Habilitação do Clustering automático para uma tabela¶

Na maioria dos casos, não são necessárias tarefas para permitir o Clustering automático para uma tabela. Basta definir uma chave de clustering para a tabela.

Entretanto, a regra não se aplica a tabelas criadas por clonagem (CREATE TABLE … CLONE …) a partir de uma tabela de origem que possui chaves de clustering. A nova tabela começa com o Clustering automático suspenso – mesmo que o Clustering automático para a tabela de origem não esteja suspenso. (Isto é verdade se o comando CLONE clonou a tabela, o esquema que contém a tabela ou o banco de dados que contém a tabela).

Para obter mais informações sobre a escolha de chaves de clustering ideais, consulte Estratégias para a seleção de chaves de clustering.

Para adicionar clustering a uma tabela, você também deve ter privilégios USAGE ou OWNERSHIP para o esquema e o banco de dados que contém a tabela.

Visualização do status de Clustering automático para uma tabela¶

Você pode usar SQL para ver se o Clustering automático está habilitado para uma tabela:

• Comando SHOW TABLES.

• Exibição TABLES (no Snowflake Information Schema).

• Exibição TABLES (no banco de dados compartilhado Account Usage).

A coluna AUTO_CLUSTERING_ON na saída exibe o status de Clustering automático para cada tabela, que pode ser usado para determinar se deve-se suspender ou retomar o Clustering automático para uma determinada tabela.

Além disso, a coluna CLUSTER_BY (SHOW TABLES) ou CLUSTERING_KEY (exibição TABLES) exibe a(s) coluna(s) definida(s) como a(s) chave(s) de clustering para cada tabela.

Suspensão do Clustering automático para uma tabela¶

Para suspender o Clustering automático de uma tabela, use o comando ALTER TABLE com uma cláusula SUSPEND RECLUSTER. Por exemplo:

ALTER TABLE t1 SUSPEND RECLUSTER;

SHOW TABLES LIKE 't1';

+---------------------------------+------+---------------+-------------+-------+---------+------------+------+-------+----------+----------------+----------------------+
|           created_on            | name | database_name | schema_name | kind  | comment | cluster_by | rows | bytes |  owner   | retention_time | automatic_clustering |
+---------------------------------+------+---------------+-------------+-------+---------+------------+------+-------+----------+----------------+----------------------+
| Thu, 12 Apr 2018 13:29:01 -0700 | T1   | TESTDB        | MY_SCHEMA   | TABLE |         | LINEAR(C1) | 0    | 0     | SYSADMIN | 1              | OFF                  |
+---------------------------------+------+---------------+-------------+-------+---------+------------+------+-------+----------+----------------+----------------------+

Copy

Retomada do Clustering automático para uma tabela¶

Para retomar o Clustering automático para uma tabela clusterizada, use o comando ALTER TABLE com uma cláusula RESUME RECLUSTER. Por exemplo:

ALTER TABLE t1 RESUME RECLUSTER;

SHOW TABLES LIKE 't1';

+---------------------------------+------+---------------+-------------+-------+---------+------------+------+-------+----------+----------------+----------------------+
|           created_on            | name | database_name | schema_name | kind  | comment | cluster_by | rows | bytes |  owner   | retention_time | automatic_clustering |
+---------------------------------+------+---------------+-------------+-------+---------+------------+------+-------+----------+----------------+----------------------+
| Thu, 12 Apr 2018 13:29:01 -0700 | T1   | TESTDB        | MY_SCHEMA   | TABLE |         | LINEAR(C1) | 0    | 0     | SYSADMIN | 1              | ON                   |
+---------------------------------+------+---------------+-------------+-------+---------+------------+------+-------+----------+----------------+----------------------+

Copy

Visualização dos custos do clustering automático¶

O agrupamento automático consome créditos, pois utiliza recursos de computação sem servidor para a manutenção automatizada de fundo de cada tabela clusterizada, incluindo o clustering inicial e o reclustering conforme necessário. Para saber quantos créditos são consumidos pelo clustering automático, consulte a “Tabela de crédito de recursos sem servidor” na Tabela de consumo de serviço do Snowflake.

Os usuários com privilégios adequados podem visualizar o custo do clustering automático usando Snowsight, Classic Console ou SQL:

Snowsight

Select Admin » Cost Management.

Classic Console

Clique em Account » Billing & Usage

Os custos do clustering automático aparecem como um warehouse separado fornecido pelo Snowflake chamado AUTOMATIC_CLUSTERING.

SQL

Consulte um dos seguintes:

• Função de tabela AUTOMATIC_CLUSTERING_HISTORY (no Snowflake Information Schema).

• Exibição AUTOMATIC_CLUSTERING_HISTORY (em Account Usage).

  As seguintes consultas podem ser executadas na exibição AUTOMATIC_CLUSTERING_HISTORY:

  Consulta: Histórico de custos de Clustering automático (por dia, por objeto)

  Esta consulta fornece uma lista de tabelas com Clustering automático e o volume de créditos consumidos através do serviço nos últimos 30 dias, separados por dia. Qualquer irregularidade no consumo do crédito ou consumo consistentemente alto são sinais para investigações adicionais.

  SELECT TO_DATE(start_time) AS date,
    database_name,
    schema_name,
    table_name,
    SUM(credits_used) AS credits_used
  FROM snowflake.account_usage.automatic_clustering_history
  WHERE start_time >= DATEADD(month,-1,CURRENT_TIMESTAMP())
  GROUP BY 1,2,3,4
  ORDER BY 5 DESC;
  

  Copy

  Consulta: Histórico de Clustering automático e média de m dias

  Esta consulta mostra a média de créditos diários consumidos pelo Clustering automático agrupados por semana durante o último ano. Ela pode ajudar a identificar anomalias nas médias diárias ao longo do ano, assim você pode investigar mais a fundo os picos ou mudanças inesperadas no consumo.

  WITH credits_by_day AS (
    SELECT TO_DATE(start_time) AS date,
      SUM(credits_used) AS credits_used
    FROM snowflake.account_usage.automatic_clustering_history
    WHERE start_time >= DATEADD(year,-1,CURRENT_TIMESTAMP())
    GROUP BY 1
    ORDER BY 2 DESC
  )
  
  SELECT DATE_TRUNC('week',date),
        AVG(credits_used) AS avg_daily_credits
  FROM credits_by_day
  GROUP BY 1
  ORDER BY 1;
  

  Copy