Custos do Snowpipe¶

Consumo de recursos e sobretaxa de gerenciamento¶

O Snowflake rastreia o consumo de recursos de carregamentos para todos os canais em uma conta, com granularidade por segundo/por núcleo, já que o Snowpipe enfileira e processa ativamente os arquivos de dados. Por núcleo se refere aos núcleos físicos da CPU em um servidor de computação. A utilização registrada é então traduzida em créditos familiares do Snowflake, que são listados na fatura de sua conta.

As decisões com relação ao tamanho do arquivo de dados e à frequência de preparação impactam o custo e o desempenho do Snowpipe. Para as práticas recomendadas, consulte Carregamentos contínuos de dados (ou seja, Snowpipe) e dimensionamento de arquivos.

Além do consumo de recursos, uma sobretaxa está incluída nos custos de utilização cobrados pelo Snowpipe. Essa sobretaxa é cobrada independentemente se as notificações de eventos ou chamadas da API REST resultarem em dados carregados. Esta cobrança de sobretaxa aparece como cobranças do Snowpipe em sua fatura.

Para saber quantos créditos são consumidos pelo Snowpipe, consulte a “Tabela de crédito de recursos sem servidor” na Tabela de consumo de serviço do Snowflake.

Estimativa das taxas do Snowpipe¶

Dado o número de fatores que podem diferenciar os carregamentos do Snowpipe, é muito difícil para a Snowflake fornecer custos de amostra. Formatos e tamanhos de arquivos e a complexidade das instruções COPY (incluindo a instrução SELECT usada para transformações), todos têm impacto no consumo de recursos e na sobretaxa de arquivos cobrada para uma carga do Snowpipe.

Sugerimos que você experimente realizando um conjunto típico de carregamentos para estimar taxas futuras.

Visualização do histórico de carga de dados e custo¶

Os administradores de conta (usuários com a função ACCOUNTADMIN) ou usuários com uma função com o privilégio global MONITOR USAGE podem usar Snowsight, Classic Console ou SQL para visualizar os créditos faturados em sua conta Snowflake dentro de um intervalo de datas especificado.

Para ver os créditos faturados pelo carregamento de dados do Snowpipe para sua conta:

Snowsight:

Select Admin » Cost Management

Classic Console:

Clique em Account » Billing & Usage.

A utilização do Snowpipe é mostrada como um warehouse especial fornecido pelo Snowflake chamado SNOWPIPE.

SQL:

Consulte um dos seguintes:

• Função de tabela PIPE_USAGE_HISTORY (no Snowflake Information Schema).

• Exibição PIPE_USAGE_HISTORY (em Account Usage).

  As seguintes consultas podem ser executadas na exibição PIPE_USAGE_HISTORY:

  Consulta: Histórico de custos do Snowpipe (por dia, por objeto)

  Esta consulta fornece uma lista completa de canais e o volume de créditos consumidos através do serviço durante os últimos 30 dias, separados por dia. Qualquer irregularidade no consumo do crédito ou consumo consistentemente alto são sinais para investigações adicionais.

  SELECT TO_DATE(start_time) AS date,
    pipe_name,
    SUM(credits_used) AS credits_used
  FROM snowflake.account_usage.pipe_usage_history
  WHERE start_time >= DATEADD(month,-1,CURRENT_TIMESTAMP())
  GROUP BY 1,2
  ORDER BY 3 DESC;
  

  Copy

  Consulta: Histórico do Snowpipe e média de m dias

  Esta consulta mostra a média de créditos diários consumidos pelo Snowpipe agrupados por semana durante o último ano. Ela pode ajudar a identificar anomalias nas médias diárias ao longo do ano, assim você pode investigar mais a fundo os picos ou mudanças inesperadas no consumo.

  WITH credits_by_day AS (
    SELECT TO_DATE(start_time) AS date,
      SUM(credits_used) AS credits_used
    FROM snowflake.account_usage.pipe_usage_history
    WHERE start_time >= DATEADD(year,-1,CURRENT_TIMESTAMP())
    GROUP BY 1
    ORDER BY 2 DESC
  )
  
  SELECT DATE_TRUNC('week',date),
    AVG(credits_used) AS avg_daily_credits
  FROM credits_by_day
  GROUP BY 1
  ORDER BY 1;
  

  Copy