Custo de implantação do Snowflake e considerações sobre dimensionamento¶
A Openflow - Snowflake Deployment tem considerações de custo em vários áreas, computação do Snowflake, infraestrutura do Snowpark Container Services, ingestão de dados e outras. Escalar o Openflow envolve entender esses custos.
As seções a seguir descrevem os custos do Openflow em geral e fornecem diversos exemplos de escalabilidade de tempos de execução do Openflow e custos associados.
Custos da Openflow - Snowflake Deployment¶
Ao usar a Openflow - Snowflake Deployment, você pode incorrer nos seguintes tipos de custos:
Categoria de custo |
Descrição |
|---|---|
Openflow (mostrado como Openflow Compute Snowflake em sua fatura do Snowflake) |
Custo baseado no número e tipos de instâncias usadas pelos pools de computação do Snowpark Container Service em sua conta Snowflake. Você é cobrado apenas por pools de computação ativos. Os créditos são cobrados por segundo, com um mínimo de 5 segundos. Para obter informações sobre a taxa por família de instâncias de computação SPCS por hora, consulte a Tabela 1(d) na Tabela de consumo de serviços do Snowflake. Além disso, as exibições METERING_DAILY_HISTORY e METERING_HISTORY no esquema Account Usage podem fornecer detalhes adicionais sobre os custos de computação do Openflow usando consultas para Nota Atualmente, OPENFLOW_USAGE_HISTORY não contém registros para SERVICE_TYPE=OPENFLOW_COMPUTE_SNOWFLAKE Consulte Exploração do custo de computação para obter mais informações sobre como explorar os custos de computação no Snowflake. |
Infraestrutura do Snowpark Container Services |
Custo de infraestrutura adicional do Snowpark Container Services, como armazenamento e transferência de dados. Consulte Custos do Snowpark Container Services para obter mais informações. |
Ingestão |
Custo para carregar dados no Snowflake usando serviços como Snowpipe ou Snowpipe Streaming, com base no volume de dados. Aparece na sua fatura do Snowflake nos respectivos itens de linha de serviços de ingestão. Certos conectores podem exigir um warehouse padrão do Snowflake, incorrendo em custos adicionais de warehouse. Por exemplo, os conectores de banco de dados de CDC exigem um warehouse do Snowflake para o instantâneo inicial e a captura de dados alterados (CDC) incremental. Você pode agendar operações MERGE para gerenciar o custo de computação. |
Ingestão de dados de telemetria |
O Snowflake padrão cobra pelo envio de logs e métricas para implantações do Openflow e pelo envio de tempos de execução para sua tabela de eventos no Snowflake. A taxa para créditos por GB de dados de telemetria pode ser encontrada na Tabela 5 da Tabela de consumo de serviços do Snowflake e é chamada de ingestão de dados de telemetria. |
Dimensionamento de Openflow - Snowflake Deployment¶
Os tempos de execução e o comportamento de escalonamento que você escolhe são cruciais para gerenciar custos de forma eficaz. O Openflow oferece suporte a diferentes tipos de tempos de execução, cada um com as próprias características de escalonamento.
Mapeamento de tempos de execução para pools de computação do Snowflake¶
A escolha de um tipo de tempo de execução resulta no agendamento de suportes de tempo de execução no Snowflake Compute Pool associado INTERNAL_OPENFLOW_0_SMALL, INTERNAL_OPENFLOW_0_MEDIUM, INTERNAL_OPENFLOW_0_LARGE com recursos descritos na tabela a seguir:
A tabela a seguir ilustra o comportamento de escalonamento de vários tempos de execução e seus custos associados:
Tipo de tempo de execução |
vCPUs |
Memória disponível (GB) |
Família de instâncias do Snowflake Compute Pool |
Snowflake Compute Pool |
Família de instâncias - vCPUs |
Família de instâncias - memória (GB) |
|---|---|---|---|---|---|---|
Small |
1 |
2 |
CPU_X64_X |
INTERNAL_OPENFLOW_0_SMALL |
4 |
16 |
Medium |
4 |
10 |
CPU_X64_SL |
INTERNAL_OPENFLOW_0_MEDIUM |
16 |
64 |
Large |
8 |
20 |
CPU_X64_L |
INTERNAL_OPENFLOW_0_LARGE |
32 |
128 |
O tipo de tempo de execução selecionado afeta o tipo de instâncias de computação que estão sendo provisionadas. O Openflow dimensiona os pools de computação do Snowflake subjacente quando pods adicionais precisam ser agendados, com base no consumo de CPU e até a configuração máxima de nós definida durante a criação do tempo de execução.
Os pools de computação do Snowflake são configurados com um tamanho mínimo de 0 nó e um máximo de 50 nós. O tamanho desejado é ajustado dinamicamente dependendo do tempo de execução necessário da CPU e da memória. Os pools de computação do Snowflake serão reduzidos para 0 após 600 segundos sem demanda de recurso.
Tipos de tempo de execução e custos associados¶
A tabela a seguir ilustra o comportamento de escalonamento de vários tempos de execução e seus custos associados:
Tempo de execução |
Atividade |
Custos do Snowflake |
Custos de nuvem |
|---|---|---|---|
Sem tempos de execução |
Nenhum |
1 pool de controle do Openflow x 1 nó = 1 instância/hora de CPU_X64_S |
Nenhum |
1 tempo de execução pequeno (1vCPU) (mín. 1 máx. 2) |
Ativo por 1 hora. O tempo de execução não é dimensionado para 2. |
1 pool de controle do Openflow x 1 nó + 1 pool de computação pequeno do Openflow (CPU_X64_S) x 1 nó = 2 instâncias/hora de CPU_X64_S |
Nenhum |
2 tempos de execução pequenos (1 vCPU) (mín./máx. = 2) 1 tempo de execução grande (8 vCPU) (mín./máx. = 10) |
Pequeno: 4 nós ativos por 1 hora Grande: 10 nós ativos por 1 hora |
1 pool de controle do Openflow x 1 nó + 1 CPU_X64_S x 1 nó + 3 CPU_X64_L = 2 instâncias/hora deCPU_X64_S + 3 intâncias/hora de CPU_X64_L |
Nenhum |
1 médio (4vCPU) (mín. = 1 máx. = 2) |
Primeiros 20 minutos: 1 nó em execução Após 20 minutos, escalona para 2 nós Após 40 minutos, escalona novamente para 1 nó Total de 1 hora |
1 pool de controle do Openflow x 1 nó + 1 CPU_X64_SL x 1 nó = 1 instância/hora de CPU_X64_S + 1 instância/hora de CPU_X64_SL |
Nenhum |
1 médio (4vCPU) (mín./máx. = 2) |
Primeiros 30 minutos: 2 nós em execução Suspende após os primeiros 30 minutos. |
1 pool de controle do Openflow x 1 nó + 1 CPU_X64_SL x 1 nó x 1/2 hora = 1 instância/hora de CPU_X64_S + 1/2 instância/hora de CPU_X64_SL |
Nenhum |
Exemplos para cálculo do consumo de Openflow - Snowflake Deployment¶
- Um usuário cria uma implantação do Openflow Snowflake e não criou nenhum tempo de execução.
O pool de computação Openflow_Control_Pool_0 está sendo executado com uma instância CPU_X64_S
Consumo total do Openflow = 1 instância/hora de CPU_X64_S
- Um usuário cria um tempo de execução pequeno com núm. mín. de nós = 1 e núm. máx. de nós = 2. O tempo de execução permanece em 1 nó por 1 hora.
O pool de computação Openflow_Control_Pool_0 está sendo executado com 1 instância CPU_X64_S
O pool de computação INTERNAL_OPENFLOW_0_SMALL está sendo executado com 1 instância CPU_X64_S
Consumo total do Openflow = 2 instâncias/hora de CPU_X64_S
- Um usuário cria 2 tempos de execução pequenos com mín./máx. de 2 nós cada e um tempo de execução grande com mín./máx. de 10 nós. Esses tempos de execução ficam ativos por 1 hora.
O pool de computação Openflow_Control_Pool_0 está sendo executado com 1 instância CPU_X64_S
2 tempos de execução pequenos em 2 nós = o pool de computação INTERNAL_OPENFLOW_0_SMALL está sendo executado com 2 instâncias CPU_X64_S = 2 instâncias/hora de CPU_X64_S
1 tempo de execução grande em 10 nós = o pool de computação INTERNAL_OPENFLOW_0_LARGE está sendo executado com 3 instâncias CPU_X64_L = 3 instâncias/hora de CPU_X64_L
Consumo total do Openflow = 3 instâncias/hora de CPU_X64_S + 3 instâncias/hora de CPU_X64_L
- Um usuário cria 1 tempo de execução médio com 1 nó. Após 20 minutos, ele escalona para 2 nós. Após 20 minutos, ele reduz para 1 nó e continua em execução por mais 20 minutos.
O pool de computação Openflow_Control_Pool_0 está sendo executado com 1 instância CPU_X64_S
1 escalonamento de tempo de execução médio até 2 tempos de execução médios = o pool de computação INTERNAL_OPENFLOW_0_MEDIUM está sendo executado com 1 instância CPU_X64_SL = 1 instância/hora CPU_X64_SL
Consumo total do Openflow = 1 instância/hora de CPU_X64_S + 1 instância/hora de CPU_X64_SL
- Um usuário cria 1 tempo de execução médio com 2 nós e o suspende após 30 minutos.
O pool de computação Openflow_Control_Pool_0 está sendo executado com 1 instância CPU_X64_S
1 tempo de execução médio em 1 nó = o pool de computação INTERNAL_OPENFLOW_0_MEDIUM está sendo executado com 1 instância CPU_X64_SL
30 minutos = 1/2 hora
Consumo total do Openflow = 1 instância/hora de CPU_X64_S + 1/2 instância/hora de CPU_X64_SL