ML Observability: monitoramento do comportamento do modelo ao longo do tempo¶

Fluxo de trabalho do ML Observability¶

Quando você usa um modelo que foi registrado no Snowflake Model Registry para inferência, receberá resultados na forma de um Snowpark ou pandas DataFrame, dependendo do tipo de entrada DataFrame passada para o método de inferência. Esses dados normalmente se originam no Snowflake. Mesmo nos casos em que a inferência é executada fora do Snowflake, é comum armazenar os resultados no Snowflake. O ML Observability permite que você monitore o desempenho do seu modelo em ambos os cenários, trabalhando com os dados de inferência armazenados. O fluxo de trabalho típico é mostrado abaixo.

Os registros de monitoramento armazenam os dados de inferência e as previsões para que o recurso ML Observability possa observar as alterações nas previsões ao longo do tempo. Os registros de monitoramento são armazenados em uma tabela que contém um ID, um carimbo de data/hora, recursos, previsões e um rótulo de verdade básica, que indica se uma determinada linha é uma previsão ou dados observados. A estrutura básica é mostrada abaixo.

Você deve criar explicitamente um objeto de monitor de modelo para cada versão de modelo que deseja monitorar. Cada versão de modelo pode ter exatamente um monitor, e cada monitor pode monitorar exatamente uma versão de modelo; eles não podem ser compartilhados. O objeto monitor atualiza automaticamente os logs do monitor consultando os dados de origem e atualiza os relatórios de monitoramento com base nos logs.

Cada monitor encapsula as seguintes informações:

• A versão do modelo a ser monitorada.

• A tabela na qual os logs do monitor são armazenados.

• A granularidade mínima de tempo em que os dados são armazenados (janela de agregação), atualmente com um mínimo de 1 dia.

• Uma tabela de linha de base opcional para operações de métrica comparativa, como desvio.

Pré-requisitos¶

Antes de começar, certifique-se de ter o seguinte:

• Uma conta Snowflake.

• Versão 1.7.1 ou posterior do pacote Python snowflake-ml-python.

• Familiaridade com o Snowflake Model Registry.

Criação de um monitor de modelo¶

Crie um monitor de modelo usando o comando CREATE MODEL MONITOR. O monitor de modelo deve ser criado no mesmo esquema que a versão do modelo a ser monitorada. Você deve ter o privilégio CREATE MODEL MONITOR no esquema em que o monitor é criado. Você pode criar um máximo de 250 monitores de modelo por conta.

Consulte CREATE MODEL MONITOR para obter mais detalhes sobre o comando CREATE MODEL MONITOR.

Como interromper e retomar temporariamente o monitoramento¶

Você pode suspender (parar temporariamente) um monitor de modelo usando ALTER MODEL MONITOR… SUSPEND. Para retomar o monitoramento, emita ALTER MODEL MONITOR… RESUME.

Visualização de relatórios de monitoramento¶

Para visualizar os relatórios do monitor, acesse o painel do ML Monitoring no Snowsight. No painel de navegação do Snowsight, selecione AI & ML e, em seguida, selecione Models. A lista resultante contém todos os modelos no Snowflake Model Registry em todos os bancos de dados e esquemas aos quais sua função atual tem acesso.

Abra a página de detalhes de um modelo selecionando a linha correspondente na lista Models. A página de detalhes exibe as principais informações do modelo, incluindo a descrição do modelo, as tags, as versões e os monitores.

A lista Monitors na página de detalhes exibe a lista de monitores de modelo, as versões de modelo às quais estão anexados, seu status e quando foram criados.

Abra a página do painel de um monitor de modelo selecionando a linha correspondente na lista Monitores. O painel é preenchido com gráficos que exibem as principais métricas do modelo ao longo do tempo. Os gráficos exatos exibidos dependem do tipo de modelo no qual o monitor se baseia (ou seja, classificação binária ou regressão).

No painel, você pode realizar as seguintes ações:

• Alterar o intervalo dos gráficos clicando no seletor de intervalo de tempo.

• Alterar os gráficos exibidos clicando no botão Settings. (Passe o mouse sobre o nome de uma métrica para ver mais informações sobre ela)

• Comparar os modelos de monitores clicando no menu suspenso do seletor de modelos Compare.

• Para exibir mais informações sobre o modelo do monitor, selecione Display monitor details.

Consultar resultados de monitoramento¶

Cada monitor de modelo que você cria tem as seguintes métricas:

• Métricas de desvio: alterações na distribuição ou mudanças nos dados

• Métricas de desempenho: alterações na distribuição ou mudanças nos dados

• Métricas de estatística: contagens ou valores nulos

Para consultar as métricas calculadas pelo monitor, use as funções de métrica do monitor. As funções de métrica obtêm as métricas dos objetos do monitor de modelos. Você pode usar os resultados das funções de métricas para criar painéis personalizados no Streamlit ou em outras ferramentas de monitoramento centralizado.

Use o seguinte template SQL para obter a métrica de desvio do monitor de modelos.

SELECT *
FROM TABLE(MODEL_MONITOR_DRIFT_METRIC (
                                        <model_monitor_name>,
                                        <drift_metric_name>,
                                        <column_name>,
                                        <granularity>,
                                        <start_time>,
                                        <end_time>
                                      )
          )

Use o seguinte template SQL para obter a métrica de desempenho do monitor de modelos.

SELECT *
FROM TABLE(MODEL_MONITOR_PERFORMANCE_METRIC (
                                        <model_monitor_name>,
                                        <metric_name>,
                                        <granularity>,
                                        <start_time>,
                                        <end_time>
                                      )
          )

Use o seguinte template SQL para obter a métrica de estatística do monitor de modelos.

SELECT *
FROM TABLE(MODEL_MONITOR_STAT_METRIC (
                                        <model_monitor_name>,
                                        <metric_name>,
                                        <granularity>,
                                        <start_time>,
                                        <end_time>
                                      )
          )

Você pode configurar alertas e notificações para suas métricas de monitoramento. Para obter mais informações, consulte Alertas e notificações.