Custos do Snowpipe¶
Com o modelo computacional sem servidor do Snowpipe, os usuários podem iniciar um carregamento de qualquer tamanho sem gerenciar um warehouse virtual. Em vez disso, o Snowflake fornece e gerencia os recursos computacionais, aumentando ou diminuindo automaticamente a capacidade com base no carregamento atual do Snowpipe.
Importante
Antes, o custo do Snowpipe tinha dois componentes: os recursos de computação reais usados para carregar seus dados (que eram medidos por segundo/núcleo) e uma cobrança a cada 1.000 arquivos.
No futuro, a ingestão do Snowpipe será faturada de acordo com um novo modelo simplificado: um valor de crédito fixo por GB. Essa mudança significativa visa melhorar a previsibilidade das despesas com carregamento de dados, simplificando a estimativa de custos em comparação ao modelo de preços anterior.
Para arquivos de texto (como CSV, JSON e XML), a cobrança é feita com base no tamanho não compactado. Para arquivos binários (como Parquet, Avro e ORC), a cobrança é feita com base no tamanho observado, independentemente da compactação.
O novo modelo de preços será aplicado automaticamente a todas as contas Business Critical e VPS a partir de 1º de agosto de 2025. Ele também será aplicado a todas as contas Enterprise e Standard em um futuro próximo. Até lá, as contas Enterprise e Standard continuarão sendo faturadas de acordo com o modelo de preços existente.
Para mais informações, consulte a Tabela de consumo de serviços do Snowflake.
Consumo de recursos e sobretaxa de gerenciamento¶
No modelo de preços anterior, o Snowflake rastreava o consumo de recursos de carregamentos para todos os canais em uma conta, com granularidade por segundo/por núcleo, já que o Snowpipe enfileira e processa ativamente os arquivos de dados. Por núcleo se refere aos núcleos físicos da CPU em um servidor de computação. A utilização registrada é então traduzida em créditos familiares do Snowflake, que são listados na fatura de sua conta.
Nota
O uso de um aplicativo cliente com multithread permite enviar arquivos de dados em paralelo, o que inicia servidores adicionais e carrega os dados em menos tempo. No entanto, o tempo total de computação real necessário seria idêntico ao uso de um aplicativo cliente de thread único, apenas distribuído por mais servidores internos do Snowpipe.
As decisões com relação ao tamanho do arquivo de dados e à frequência de preparação impactam o custo e o desempenho do Snowpipe. Para as práticas recomendadas, consulte Carregamentos contínuos de dados (ou seja, Snowpipe) e dimensionamento de arquivo.
Além do consumo de recursos, uma sobretaxa está incluída nos custos de utilização cobrados pelo Snowpipe. Essa sobretaxa é cobrada, independentemente de as notificações de eventos ou chamadas da RESTAPI terem resultado no carregamento de dados. Essa sobretaxa aparece na fatura como cobranças do Snowpipe.
Estimativa das taxas do Snowpipe¶
Com o novo valor de crédito fixo por GB para o Snowpipe, fica simples estimar as taxas do Snowpipe. Você só precisa calcular os custos esperados usando o volume de dados previsto. Como os arquivos de texto (como CSV, JSON e XML) são cobrados com base no tamanho não compactado, você precisa saber a taxa de compactação dos arquivos de texto. Depois, você pode verificar esses cálculos em relação ao uso real, examinando a coluna BILLED_BYTES nas visualizações correspondentes do uso da conta. A coluna BILLED_BYTES será introduzida no próximo pacote 2025_05 BCR.
Para entender o consumo de crédito real das suas cargas de trabalho específicas com base no novo modelo, sugerimos que você teste com um conjunto típico de carregamentos.
Visualização do histórico de carregamento de dados e custo¶
Os administradores de conta (usuários com a função ACCOUNTADMIN) ou usuários com uma função com o privilégio global MONITOR USAGE podem usar Snowsight, Classic Console ou SQL para visualizar os créditos faturados em sua conta Snowflake dentro de um intervalo de datas especificado.
Ocasionalmente, o processo de compactação e manutenção de dados pode consumir créditos do Snowflake. Por exemplo, os resultados retornados podem mostrar que você consumiu créditos com 0 BYTES_INSERTED e 0 FILES_INSERTED. Isto significa que seus dados não estão sendo carregados, mas o processo de compactação e manutenção dos dados consumiu alguns créditos.
Para ver os créditos faturados pelo carregamento de dados do Snowpipe para sua conta:
- Snowsight:
Selecione Admin » Cost Management.
- Classic Console:
Selecione Account
» Billing & Usage.
A utilização do Snowpipe é mostrada como um warehouse especial fornecido pelo Snowflake chamado
SNOWPIPE.
- SQL:
Consulte um dos seguintes:
Função de tabela PIPE_USAGE_HISTORY (no Snowflake Information Schema).
Exibição PIPE_USAGE_HISTORY (em Account Usage).
Você pode executar as seguintes consultas na exibição PIPE_USAGE_HISTORY. Agora você também pode usar as consultas para verificar custos com base no volume usando a coluna
BYTES_BILLED
.Nota
Você deve ativar o próximo pacote 2025_05 BCR para acessar a coluna
BYTES_BILLED
.Consulta: Histórico de custos do Snowpipe (por dia, por objeto)
Essa consulta fornece uma lista completa de canais e o volume de créditos consumidos pelo serviço nos últimos 30 dias, separados por dia. Qualquer irregularidade no consumo do crédito ou a presença de um consumo consistentemente alto são sinais de que há possíveis problemas que devem ser investigados.
SELECT TO_DATE(start_time) AS date, pipe_name, SUM(credits_used) AS credits_used, SUM(bytes_billed) AS bytes_billed_total -- Added for new pricing verification FROM snowflake.account_usage.pipe_usage_history WHERE start_time >= DATEADD(month,-1,CURRENT_TIMESTAMP()) GROUP BY 1,2 ORDER BY 3 DESC;Consulta: Histórico do Snowpipe e média de m dias
Essa consulta mostra a média de créditos diários consumidos pelo Snowpipe, agrupados por semana ao longo do último ano. Essa consulta pode ajudar você a identificar anomalias nas médias de consumo diário ao longo do ano, para investigar aumentos súbitos ou mudanças inesperadas no consumo.
WITH credits_by_day AS ( SELECT TO_DATE(start_time) AS date, SUM(credits_used) AS credits_used, SUM(bytes_billed) AS bytes_billed_total -- Added for new pricing verification FROM snowflake.account_usage.pipe_usage_history WHERE start_time >= DATEADD(year,-1,CURRENT_TIMESTAMP()) GROUP BY 1 ORDER BY 2 DESC) SELECT DATE_TRUNC('week',date), AVG(credits_used) AS avg_daily_credits, AVG(bytes_billed_total) AS avg_daily_bytes_billed -- Added for new pricing verification FROM credits_by_day GROUP BY 1 ORDER BY 1;
Nota
Monitores de recursos fornecem controle sobre o uso de crédito do warehouse virtual; no entanto, não é possível usá-los para controlar o uso de crédito para os warehouses fornecidos pelo Snowflake, incluindo o warehouse SNOWPIPE.