Custos do Snowpipe

Com o modelo computacional sem servidor do Snowpipe, os usuários podem iniciar um carregamento de qualquer tamanho sem gerenciar um warehouse virtual. Em vez disso, o Snowflake fornece e gerencia os recursos computacionais, aumentando ou diminuindo automaticamente a capacidade com base no carregamento atual do Snowpipe. As contas são cobradas com base no uso real de seus recursos computacionais; em contraste com os warehouses virtuais gerenciados pelo cliente, que consomem créditos quando ativos e podem ficar ociosos ou ser utilizados em excesso.

Neste tópico:

Consumo de recursos e sobretaxa de gerenciamento

O Snowflake rastreia o consumo de recursos de carregamentos para todos os canais em uma conta, com granularidade por segundo/por núcleo, já que o Snowpipe enfileira e processa ativamente os arquivos de dados. Por núcleo se refere aos núcleos físicos da CPU em um servidor de computação. A utilização registrada é então traduzida em créditos familiares do Snowflake, que são listados na fatura de sua conta.

Nota

O uso de um aplicativo cliente com multithread permite enviar arquivos de dados em paralelo, o que inicia servidores adicionais e carrega os dados em menos tempo. No entanto, o tempo total de computação real necessário seria idêntico ao uso de um aplicativo cliente de thread único, apenas distribuído por mais servidores internos do Snowpipe.

As decisões com relação ao tamanho do arquivo de dados e à frequência de preparação impactam o custo e o desempenho do Snowpipe. Para as práticas recomendadas, consulte Carregamentos contínuos de dados (ou seja, Snowpipe) e dimensionamento de arquivos.

Além do consumo de recursos, uma sobretaxa está incluída nos custos de utilização cobrados pelo Snowpipe. Essa sobretaxa é cobrada independentemente se as notificações de eventos ou chamadas da API REST resultarem em dados carregados. Esta cobrança de sobretaxa aparece como cobranças do Snowpipe em sua fatura.

Para saber quantos créditos são consumidos pelo Snowpipe, consulte a “Tabela de crédito de recursos sem servidor” na Tabela de consumo de serviço do Snowflake.

Estimativa das taxas do Snowpipe

Dado o número de fatores que podem diferenciar os carregamentos do Snowpipe, é muito difícil para a Snowflake fornecer custos de amostra. Formatos e tamanhos de arquivos e a complexidade das instruções COPY (incluindo a instrução SELECT usada para transformações), todos têm impacto no consumo de recursos e na sobretaxa de arquivos cobrada para uma carga do Snowpipe.

Sugerimos que você experimente realizando um conjunto típico de carregamentos para estimar taxas futuras.

Visualização do histórico de carga de dados e custo

Os administradores de conta (usuários com a função ACCOUNTADMIN) ou usuários com uma função com o privilégio global MONITOR USAGE podem usar Snowsight, Classic Console ou SQL para visualizar os créditos faturados em sua conta Snowflake dentro de um intervalo de datas especificado.

Para ver os créditos faturados pelo carregamento de dados do Snowpipe para sua conta:

Snowsight:

Select Admin » Cost Management

Classic Console:

Clique em Account Guia de conta » Billing & Usage.

A utilização do Snowpipe é mostrada como um warehouse especial fornecido pelo Snowflake chamado Logotipo do Snowflake em azul (sem texto) SNOWPIPE.

SQL:

Consulte um dos seguintes:

  • Função de tabela PIPE_USAGE_HISTORY (no Snowflake Information Schema).

  • Exibição PIPE_USAGE_HISTORY (em Account Usage).

    As seguintes consultas podem ser executadas na exibição PIPE_USAGE_HISTORY:

    Consulta: Histórico de custos do Snowpipe (por dia, por objeto)

    Esta consulta fornece uma lista completa de canais e o volume de créditos consumidos através do serviço durante os últimos 30 dias, separados por dia. Qualquer irregularidade no consumo do crédito ou consumo consistentemente alto são sinais para investigações adicionais.

    SELECT TO_DATE(start_time) AS date,
      pipe_name,
      SUM(credits_used) AS credits_used
    FROM snowflake.account_usage.pipe_usage_history
    WHERE start_time >= DATEADD(month,-1,CURRENT_TIMESTAMP())
    GROUP BY 1,2
    ORDER BY 3 DESC;
    
    Copy

    Consulta: Histórico do Snowpipe e média de m dias

    Esta consulta mostra a média de créditos diários consumidos pelo Snowpipe agrupados por semana durante o último ano. Ela pode ajudar a identificar anomalias nas médias diárias ao longo do ano, assim você pode investigar mais a fundo os picos ou mudanças inesperadas no consumo.

    WITH credits_by_day AS (
      SELECT TO_DATE(start_time) AS date,
        SUM(credits_used) AS credits_used
      FROM snowflake.account_usage.pipe_usage_history
      WHERE start_time >= DATEADD(year,-1,CURRENT_TIMESTAMP())
      GROUP BY 1
      ORDER BY 2 DESC
    )
    
    SELECT DATE_TRUNC('week',date),
      AVG(credits_used) AS avg_daily_credits
    FROM credits_by_day
    GROUP BY 1
    ORDER BY 1;
    
    Copy

Nota

Monitores de recursos fornecem controle sobre o uso de crédito do warehouse virtual; no entanto, não é possível usá-los para controlar o uso de crédito para os warehouses fornecidos pelo Snowflake, incluindo o warehouse Logotipo do Snowflake em azul (sem texto) SNOWPIPE.