Computação adaptativa¶

MAX_QUERY_PERFORMANCE_LEVEL¶

MAX_QUERY_PERFORMANCE_LEVEL expressa o limite superior de desempenho para qualquer consulta individual. Ele é definido no nível do warehouse e serve como mecanismo para instruir o sistema a «acelerar» ou «desacelerar» a execução da consulta.

A propriedade é expressa em unidades de tamanhos de amostras (XSMALL a X4LARGE). Cada tamanho transmite um nível de desempenho semelhante ou melhor do que o tamanho de warehouse clássico correspondente.

Tipo:

{ XSMALL | SMALL | MEDIUM | LARGE | XLARGE | XXLARGE | XXXLARGE | X4LARGE }

Padrão:

XLARGE

Semântica:

• Valores maiores fornecem mais capacidade computacional por instrução, melhorando a latência para consultas grandes e complexas, e aumentam o gasto instantâneo potencial para uma única instrução.

• Valores menores restringem o gasto por instrução, mas podem deixar consultas grandes mais lentas, ao mesmo tempo que deixam mais capacidade para simultaneidade.

• Esse valor não é mapeado para uma configuração de computação subjacente específica. Ele expressa apenas um nível de desempenho: O Snowflake determina os recursos reais necessários para cada consulta.

Comportamento:

A computação adaptativa determina a computação ideal necessária para uma consulta com base no plano de consulta. Se o serviço determinar que as necessidades de computação para um desempenho ideal são maiores que MAX_QUERY_PERFORMANCE_LEVEL, o Snowflake vai limitá-las a MAX_QUERY_PERFORMANCE_LEVEL. Para consultas menores, o Snowflake escolhe a computação para um desempenho ideal abaixo de MAX_QUERY_PERFORMANCE_LEVEL, proporcional às necessidades da consulta.

Recomendação:

Defina MAX_QUERY_PERFORMANCE_LEVEL como o nível de desempenho de consulta mais alto que você considera aceitável para suas consultas maiores. Use orçamentos e monitores de recursos para controlar o gasto total ao longo do tempo.

QUERY_THROUGHPUT_MULTIPLIER¶

QUERY_THROUGHPUT_MULTIPLIER expressa o multiplicador utilizado para calcular a taxa de transferência máxima em qualquer momento. Em vez de especificar uma taxa de transferência máxima absoluta, você especifica um fator de escala de número inteiro acima do mínimo computado pelo sistema.

Para executar instruções N em paralelo no MAX_QUERY_PERFORMANCE_LEVEL, defina o multiplicador como N. Como MAX_QUERY_PERFORMANCE_LEVEL representa o limite superior, essa configuração normalmente é compatível com mais de N consultas executadas em paralelo, pois muitas consultas precisam de menos do que o máximo.

Tipo:

Número inteiro não negativo

Padrão:

2

Definir esse valor como 0 significa taxa de transferência ilimitada: o warehouse pode usar toda a capacidade de burst disponível, sem limite.

Semântica:

Quando definido com um valor positivo, a taxa de transferência máxima é calculada como:

MAX_THROUGHPUT = QUERY_THROUGHPUT_MULTIPLIER * MINIMUM

Em que MINIMUM é uma capacidade base calculada pelo sistema para o MAX_QUERY_PERFORMANCE_LEVEL definido no warehouse.

• Atua como um fator de escala nessa capacidade base computada pelo sistema.

• Valores mais altos aumentam a taxa de transferência máxima (mais trabalho simultâneo) e reduzem o enfileiramento, ao custo de um gasto instantâneo potencialmente maior.

• Valores mais baixos restringem a taxa de transferência de burst e reduzem o risco de picos repentinos de gastos, mas podem levar a enfileiramentos.

Comportamento:

O Snowflake calcula uma taxa de capacidade base interna para o warehouse com base em MAX_QUERY_PERFORMANCE_LEVEL, histórico de migração (tamanho clássico, número máximo de clusters, fator de escala de QAS) e ​​outros parâmetros de ajuste do sistema.

QUERY_THROUGHPUT_MULTIPLIER multiplica pela capacidade base para determinar o número total de consultas que podem ser executadas simultaneamente. Quando o sistema está abaixo dessa meta, ele permite a execução da consulta. Quando atinge a meta, ele enfileira a consulta.

Recomendação:

Se você observar um tempo de enfileiramento de carga persistente e desejar maior taxa de transferência, aumente QUERY_THROUGHPUT_MULTIPLIER. Se você estiver mais preocupado em limitar os gastos instantâneos, reduza QUERY_THROUGHPUT_MULTIPLIER e confie em orçamentos e monitores de recursos para controles absolutos de custos.

Comportamento da propriedade durante a conversão¶

Ao converter um warehouse padrão em um adaptativo, a única propriedade que você precisa alterar é WAREHOUSE_TYPE. O Snowflake calcula automaticamente os valores apropriados para MAX_QUERY_PERFORMANCE_LEVEL e QUERY_THROUGHPUT_MULTIPLIER.

O sistema deriva esses valores da configuração existente do warehouse padrão:

• Tamanho do warehouse.

• MAX_CLUSTER_COUNT (para warehouses multicluster).

• Fator de escala de QAS.

• Geração do warehouse (geração de hardware/software).

O objetivo é preservar ou melhorar o desempenho em comparação com o warehouse padrão original, fornecer capacidade de burst suficiente para picos de carga típicos e evitar a necessidade de ajustes manuais ao mudar para o adaptativo.

Como opção, após a conversão você pode substituir MAX_QUERY_PERFORMANCE_LEVEL e QUERY_THROUGHPUT_MULTIPLIER usando ALTER WAREHOUSE. Propriedades do warehouse padrão, como WAREHOUSE_SIZE e MAX_CLUSTER_COUNT, não se aplicam mais após a conversão para o adaptativo, e as propriedades do adaptativo não se aplicam mais após a conversão de volta para o padrão.

CREATE ADAPTIVE WAREHOUSE¶

Cria um novo warehouse virtual adaptativo.

CREATE [ OR REPLACE ] ADAPTIVE WAREHOUSE [ IF NOT EXISTS ] <name>
  [ [ WITH ] adaptiveProperties ]
  [ [ WITH ] TAG ( <tag_name> = '<tag_value>' [ , ... ] ) ]
  [ objectParams ]

adaptiveProperties ::=
  COMMENT = '<string_literal>'
  MAX_QUERY_PERFORMANCE_LEVEL = { XSMALL | SMALL | MEDIUM | LARGE
                                | XLARGE | XXLARGE | XXXLARGE | X4LARGE }
  QUERY_THROUGHPUT_MULTIPLIER = <integer>

objectParams ::=
  STATEMENT_QUEUED_TIMEOUT_IN_SECONDS = <num>
  STATEMENT_TIMEOUT_IN_SECONDS = <num>

Você também pode criar um warehouse adaptativo usando a sintaxe padrão CREATE WAREHOUSE com WAREHOUSE_TYPE = 'ADAPTIVE':

CREATE [ OR REPLACE ] WAREHOUSE [ IF NOT EXISTS ] <name>
  [ [ WITH ] WAREHOUSE_TYPE = 'ADAPTIVE'
    [ adaptiveProperties ]
  ]
  [ [ WITH ] TAG ( <tag_name> = '<tag_value>' [ , ... ] ) ]
  [ objectParams ]

CREATE ADAPTIVE WAREHOUSE my_adaptive_wh;

CREATE ADAPTIVE WAREHOUSE my_adaptive_wh
  WITH MAX_QUERY_PERFORMANCE_LEVEL = XXLARGE;

CREATE ADAPTIVE WAREHOUSE my_adaptive_wh
  WITH MAX_QUERY_PERFORMANCE_LEVEL = MEDIUM
       QUERY_THROUGHPUT_MULTIPLIER = 6;

CREATE WAREHOUSE my_adaptive_wh
  WITH WAREHOUSE_TYPE = 'ADAPTIVE'
       MAX_QUERY_PERFORMANCE_LEVEL = LARGE
       QUERY_THROUGHPUT_MULTIPLIER = 3;

ALTER WAREHOUSE (adaptativo)¶

Você pode usar ALTER WAREHOUSE para converter um warehouse padrão em adaptativo, modificar as propriedades de um warehouse adaptativo ou converter um warehouse adaptativo de volta para o padrão.

Converta um warehouse padrão em adaptativo:

ALTER WAREHOUSE my_warehouse SET WAREHOUSE_TYPE = 'ADAPTIVE';

Modifique as propriedades de um warehouse adaptativo após a criação ou conversão:

ALTER WAREHOUSE my_adaptive_wh SET
  MAX_QUERY_PERFORMANCE_LEVEL = XLARGE
  QUERY_THROUGHPUT_MULTIPLIER = 8;

Converta um warehouse adaptativo de volta para o padrão:

ALTER WAREHOUSE my_warehouse SET WAREHOUSE_TYPE = 'STANDARD';