Capturar automaticamente logs de inferência para ter inferência em tempo real¶

Use a captura automática no Snowflake ML para registrar automaticamente todas as solicitações e respostas processadas por um serviço de modelo. A captura automática fornece visibilidade imediata dos sucessos das solicitações, das falhas das solicitações e das entradas por trás de previsões inesperadas.

Em vez de direcionar os dados de solicitação ou resposta para uma tabela ou exibição, você pode persistir automaticamente os dados de solicitação e resposta de inferência. Em vez de precisar criar pipelines corretamente para ingestão e monitoramento de dados, você pode usar a captura automática.

Com a captura automática, você pode fazer o seguinte:

• Depurar rapidamente: analise dados históricos de inferência para diagnosticar casos extremos e entender o comportamento do modelo.

• Melhorar continuamente seus modelos: use dados de produção do mundo real para criar conjuntos de dados de alta qualidade para treinar novos modelos.

• Testar: use os dados coletados dos logs para testes A/B e testes de sombra.

Para cada solicitação de inferência, a captura automática registra o seguinte:

• Carga útil da solicitação

• Carga útil da resposta

• Identificador da versão do modelo

• Identificador do serviço

• Metadados de roteamento do gateway

• Carimbos de data/hora da solicitação/resposta

• Código de resposta (como 200).

Esses dados são somente leitura, e os usuários não podem ser modificá-los.

O Snowflake captura apenas os dados de resposta para solicitações bem-sucedidas. Se uma solicitação falhar, o Snowflake não vai capturar nenhum dado.

Pré-requisitos e compatibilidade de versão do modelo¶

As seções a seguir descrevem os pré-requisitos e a compatibilidade de versão do modelo para a captura automática.

CREATE [ OR REPLACE ] MODEL [ IF NOT EXISTS ] <name> [ WITH VERSION <version_name> ]
FROM MODEL <source_model_name> [ VERSION <source_version_or_alias_name> ]

Ativar captura automática¶

Depois de criar um novo modelo ou clonar um modelo existente, habilite a captura automática para o serviço de modelo usando o SDK do Python. Para obter mais informações sobre o serviço de modelo, consulte Implantar modelos para inferência em tempo real (REST API).

Use o seguinte código Python para habilitar a captura automática:

mv.create_service(
    service_name="my_service",
    service_compute_pool="my_compute_pool",
    autocapture=True
)

A variável mv ​​é o objeto de versão do modelo. Você a definiu ao registrar o modelo no registro de modelos.

O valor padrão para captura automática é False. Certifique-se de habilitar a captura automática para um modelo que você criou após 23 de janeiro de 2026 e registrou no registro de modelos. Caso contrário, a criação do serviço falhará porque o modelo não tem uma tabela de inferência.

Consultar dados de inferência¶

Para acessar seus logs, use a função INFERENCE_TABLE. Essa função retorna os logs de inferência de um modelo e permite filtrar por versão, serviço e gateway. Somente os proprietários do modelo podem visualizar os dados quando têm privilégios USAGE no gateway e no serviço.

-- Fetch all inference logs for a specific model
SELECT * FROM TABLE(INFERENCE_TABLE('my_model'));

SELECT * FROM TABLE(
INFERENCE_TABLE(
'MY_MODEL',
VERSION => 'V1',
SERVICE => 'MY_PREDICTION_SERVICE',
GATEWAY => 'MY_GATEWAY'
)
);

WHERE RECORD_ATTRIBUTES:"snow.model_serving.function.name" = 'predict'

SELECT *
FROM TABLE(
  INFERENCE_TABLE('my_model')
);

SELECT *
FROM TABLE(
  INFERENCE_TABLE(
    'my_model',
    MODEL_VERSION => 'v1'
  )
);

SELECT *
FROM TABLE(
  INFERENCE_TABLE(
    'my_model',
    MODEL_VERSION => 'v1',
    SERVICE => 'my_service'
  )
);

SELECT *
FROM TABLE(
  INFERENCE_TABLE(
    'my_model',
    MODEL_VERSION => 'v1',
    GATEWAY => 'my_gateway'
  )
);

Esquema de dados e metadados¶

O Snowflake captura apenas os dados de resposta para solicitações bem-sucedidas. Se uma solicitação falhar, o Snowflake não vai capturar nenhum dado.

A seguir estão os atributos de registro que são capturados:

Lógica de truncamento de dados¶

Para manter o desempenho do sistema, há um limite de 1 MB para cada evento de inferência. Se a solicitação e a resposta atingirem o limite, o Snowflake aplicará um processo de truncamento em vários estágios para preservar o máximo de utilidade possível.

A tabela a seguir mostra o processo de truncamento:

*O estágio 3 ocorrerá se os metadados sozinhos excederem o limite após a redução de conteúdo.

Limites¶

Ao usar a captura automática, tenha em mente as seguintes limitações e considerações:

• Suporte a LLM: a captura automática não é compatível com modelos de linguagem grandes (Large Language Models, LLMs).

• Taxa de transferência: a captura automática foi projetada para uma taxa de transferência do sistema de aproximadamente 300 a 400 solicitações por segundo (ou 10MB/s) por serviço.

• Replicação: não é possível replicar tabelas de inferência. Os modelos replicados não terão tabelas de inferência na conta de destino.

• Retenção: os dados de inferência persistem mesmo se o serviço ou gateway for excluído.

• Aviso: excluir o objeto de modelo excluirá permanentemente todos os dados de inferência associados.

• Dados de referência: para realizar a análise de desvio, mantenha uma tabela de dados de referência separada e junte-a com a saída INFERENCE_TABLE usando IDs de solicitação comum.

• Contas de consumidor: as contas de consumidor não podem criar um serviço com a captura automática ativada para modelos compartilhados com tabelas de inferência.

• Desempenho: a captura automática foi projetada para não adicionar latência às solicitações de inferência. No entanto, pode haver o descarte de algumas capturas durante períodos de volume de solicitações extremamente alto.

Esquema¶

Como parte desse recurso, os seguintes valores são adicionados às respectivas colunas.