Gerenciamento e escalonamento de serviços¶

Como funciona o dimensionamento automático¶

O serviço é inicializado com o número de nós especificado em min_instances e escala dinamicamente dentro do intervalo definido com base no volume de tráfego em tempo real e na utilização do hardware.

Dimensionamento como zero (suspensão automática): se min_instances estiver definido como 0 (padrão), o serviço será suspenso automaticamente se nenhum tráfego for detectado por 30 minutos.

Latência de dimensionamento: os acionadores de dimensionamento normalmente são ativados após um minuto de cumprimento da condição necessária. Observe que o tempo total de ativação inclui esse período do acionador mais o tempo necessário para provisionar e inicializar novas instâncias de serviço.

Práticas recomendadas de configuração¶

No Snowsight¶

Você pode monitorar os serviços de disponibilização de modelos no Snowsight:

1. No menu de navegação, selecione Monitoring » Services & jobs.

2. Na guia Services, selecione o serviço desejado para visualizar a página de detalhes.

3. A guia Overview exibe informações do serviço, incluindo o pool de computação, os pontos de extremidade e a contagem de instâncias.

4. As guias Logs, Metrics e Events fornecem logs, métricas de desempenho e eventos do serviço (como provisionamento e desligamento de instâncias). Filtre os resultados por nome da instância e do contêiner, conforme necessário.

Acessando os logs de serviço¶

Você pode acessar os logs dos seus serviços de disponibilização de modelos usando qualquer um dos seguintes métodos:

-- Retrieve logs using the service helper function
SELECT * FROM TABLE(mydb.myschema.my_model_service!SPCS_GET_LOGS())
WHERE
timestamp > dateadd(hour, -1, current_timestamp())
AND instance_id = 0  -- choose all instances or one particular
AND container_name = 'model-inference';

-- Find the event table for your account
SHOW PARAMETERS LIKE 'event_table' IN ACCOUNT;

-- Query the event table for model service logs
SELECT TIMESTAMP, RESOURCE_ATTRIBUTES, RECORD_ATTRIBUTES, VALUE
FROM <current_event_table_for_your_account>
WHERE timestamp > dateadd(hour, -1, current_timestamp())
    AND RESOURCE_ATTRIBUTES:"snow.service.name" = '<model_service_name>'
    AND RECORD_TYPE = 'LOG'
    AND RESOURCE_ATTRIBUTES:"snow.service.container.instance" = '0'  -- choose all instances or one particular
    AND RESOURCE_ATTRIBUTES:"snow.service.container.name" = 'model-inference'
ORDER BY timestamp DESC
LIMIT 10;

-- Retrieve logs from a specific service instance
SELECT SYSTEM$GET_SERVICE_LOGS('model_service_name', '0', 'model-inference', 10);

Acessando métricas de serviço¶

Os serviços de disponibilização de modelos emitem métricas de desempenho e integridade que podem ajudar você a monitorar utilização de recursos, taxas de solicitação, latência e outras características operacionais. Essas métricas são capturadas na tabela de eventos e podem ser consultadas para analisar o desempenho do serviço ao longo do tempo.

Para obter mais informações sobre as métricas de serviço SPCS, consulte Acessando as métricas de serviço da tabela de eventos.

-- Retrieve metrics using the service helper function
SELECT *
FROM TABLE(mydb.myschema.my_model_service!SPCS_GET_METRICS())
WHERE
timestamp > dateadd(hour, -1, current_timestamp())
AND instance_id = 0  -- choose all instances or one particular
AND container_name = 'model-inference';

-- Find the event table for your account
SHOW PARAMETERS LIKE 'event_table' IN ACCOUNT;

-- Query the event table for model service metrics
SELECT
    timestamp,
    RESOURCE_ATTRIBUTES:"snow.service.container.instance" as instance,
    RESOURCE_ATTRIBUTES:"snow.service.container.name" as container,
    RECORD:metric:"name" as metric,
    value
FROM my_event_table_db.my_event_table_schema.my_event_table
WHERE timestamp > DATEADD(hour, -1, CURRENT_TIMESTAMP())
    AND RESOURCE_ATTRIBUTES:"snow.service.name" = '<model_service_name>'
    AND RECORD_TYPE = 'METRIC'
    AND RESOURCE_ATTRIBUTES:"snow.service.container.instance" = '0'  -- choose all instances or one particular
    AND RESOURCE_ATTRIBUTES:"snow.service.container.name" = 'model-inference'
ORDER BY timestamp DESC
LIMIT 100;

Resiliência a falhas de nó¶

Para tolerar falhas de nós padrão, a Snowflake recomenda um superprovisionamento de 50% ou a manutenção de um mínimo de 3 instâncias (o que for maior).

Exemplo: se você precisar de 4 instâncias para suportar picos de tráfego, deverá provisionar 6 instâncias.

Resiliência a falhas zonais¶

Para cargas de trabalho essenciais à missão que exigem resiliência contra uma falha zonal completa, é possível usar um pool de computação distribuído ao criar um serviço. Os pools de computação distribuídos são criados com o parâmetro PLACEMENT_GROUP definido como DISTRIBUTED. Para obter mais informações sobre pools de computação distribuídos, consulte Posicionamento de pools de computação.

Guia de configuração¶

ALTER COMPUTE POOL my_pool SUSPEND;

ALTER COMPUTE POOL my_pool
  SET PLACEMENT_GROUP = 'DISTRIBUTED';

ALTER COMPUTE POOL my_pool RESUME;

ALTER COMPUTE POOL my_pool SUSPEND;

ALTER COMPUTE POOL my_pool
  UNSET PLACEMENT_GROUP;

ALTER COMPUTE POOL my_pool RESUME;

DESCRIBE COMPUTE POOL my_service_pool;