ML Observability : suivi du comportement du modèle dans le temps¶

Flux de travail de ML Observability¶

Lorsque vous utilisez un modèle qui a été connecté au Snowflake Model Registry pour l’inférence, vous recevez les résultats sous la forme d’un DataFrame Snowpark ou pandas, en fonction du DataFrame de type d’entrée transmis à la méthode d’inférence. Ces données proviennent généralement de Snowflake. Même dans les cas où l’inférence est exécutée en dehors de Snowflake, il est courant de stocker les résultats dans Snowflake. ML Observability vous permet de contrôler la performance de votre modèle dans ces deux scénarios en travaillant sur les données d’inférence stockées. Le flux de travail typique est illustré ci-dessous.

Les journaux de surveillance stockent les données d’inférence et les prédictions de sorte que la fonction de ML Observability puisse observer les changements dans les prédictions au fil du temps. Les journaux de surveillance sont stockés dans une table qui contient un ID, un horodatage, des fonctions, des prédictions et de la réalité de terrain, qui indique si une ligne donnée est une prédiction ou des données observées. La structure de base est présentée ci-dessous.

Vous devez créer explicitement un objet moniteur de modèle pour chaque version de modèle que vous souhaitez contrôler. Chaque version de modèle peut avoir exactement un moniteur, et chaque moniteur peut surveiller exactement une version de modèle ; ils ne peuvent pas être partagés. L’objet moniteur actualise automatiquement les journaux de surveillance en interrogeant les données sources et met à jour les rapports de surveillance sur la base des journaux.

Chaque moniteur contient les informations suivantes :

• La version du modèle à surveiller.

• La table dans laquelle sont connectés les journaux du moniteur.

• La granularité temporelle minimale à laquelle les données sont stockées (fenêtre d’agrégation), actuellement 1 jour minimum.

• Une table de référence facultative pour les opérations métriques comparatives telles que la migration.

Conditions préalables¶

Avant de commencer, assurez-vous de disposer des éléments suivants :

• Un compte Snowflake.

• La version 1.7.1 ou ultérieure du paquet Python snowflake-ml-python.

• Connaissances de Snowflake Model Registry.

Création d’un moniteur de modèle¶

Créez un moniteur de modèle à l’aide de la commande CREATE MODEL MONITOR. Le moniteur de modèle doit être créé dans le même schéma que la version du modèle à surveiller. Vous devez disposer du privilège CREATE MODEL MONITOR sur le schéma où le moniteur est créé. Vous pouvez créer un maximum de 250 moniteurs de modèles par compte.

Voir CREATE MODEL MONITOR pour plus de détails sur la commande CREATE MODEL MONITOR.

Arrêt temporaire et reprise de la surveillance¶

Vous pouvez suspendre (arrêter temporairement) un moniteur de modèle en utilisant ALTER MODEL MONITOR … SUSPEND. Pour reprendre la surveillance, émettez ALTER MODEL MONITOR … RESUME.

Vue des rapports de suivi¶

Pour voir les rapports des moniteurs, rendez-vous sur le tableau de bord ML Monitoring dans Snowsight. Dans le volet de navigation Snowsight, sélectionnez AI & ML puis Models. La liste obtenue contient tous les modèles du Snowflake Model Registry dans toutes les bases de données et tous les schémas auxquels votre rôle actuel a accès.

Ouvrez la page de détails d’un modèle en sélectionnant la ligne correspondante dans la liste Models. La page de détails affiche des informations clés sur le modèle, notamment sa description, ses balises, ses versions et ses moniteurs.

La liste Monitors de la page de détails affiche la liste des moniteurs de modèle, les versions de modèle auxquelles ils sont rattachés, leur statut et la date de leur création.

Ouvrez la page du tableau de bord d’un moniteur de modèle en sélectionnant la ligne correspondante dans la liste des moniteurs. Le tableau de bord est alimenté par des graphiques affichant les mesures clés du modèle au fil du temps. Les graphiques exacts affichés dépendent du type de modèle sur lequel repose le moniteur (c’est-à-dire la classification binaire ou la régression).

Dans le tableau de bord, vous pouvez effectuer les actions suivantes :

• Modifiez l’étendue des graphiques en cliquant sur le sélecteur d’étendue temporelle.

• Modifiez les graphiques affichés en cliquant sur le bouton Settings. (Passez la souris sur le nom d’une métrique pour obtenir plus d’informations à son sujet)

• Comparez les modèles de moniteurs en cliquant sur le menu déroulant du sélecteur de modèles Compare.

• Affichez plus d’informations sur le modèle de moniteur en sélectionnant Display monitor details.

Interrogation des résultats de surveillance¶

Chaque moniteur de modèle que vous créez possède les métriques suivantes :

• Métriques de dérive : Changements de distribution ou déplacement des données

• Métriques de performance : Changements de distribution ou déplacement des données

• Métriques statistiques : Dénombrements ou valeurs nulles

Pour interroger les métriques calculées par le moniteur, utilisez les fonctions de métrique du moniteur. Les fonctions de métrique obtiennent les métriques des objets du moniteur de modèle. Vous pouvez utiliser les résultats des fonctions de métrique pour créer des tableaux de bord personnalisés dans Streamlit ou d’autres outils de surveillance centralisée.

Utilisez le modèle SQL suivant pour obtenir la métrique de dérive de votre moniteur de modèle.

SELECT *
FROM TABLE(MODEL_MONITOR_DRIFT_METRIC (
                                        <model_monitor_name>,
                                        <drift_metric_name>,
                                        <column_name>,
                                        <granularity>,
                                        <start_time>,
                                        <end_time>
                                      )
          )

Utilisez le modèle SQL suivant pour obtenir la métrique de performance de votre moniteur de modèle.

SELECT *
FROM TABLE(MODEL_MONITOR_PERFORMANCE_METRIC (
                                        <model_monitor_name>,
                                        <metric_name>,
                                        <granularity>,
                                        <start_time>,
                                        <end_time>
                                      )
          )

Utilisez le modèle SQL suivant pour obtenir la métrique statistique de votre moniteur de modèle.

SELECT *
FROM TABLE(MODEL_MONITOR_STAT_METRIC (
                                        <model_monitor_name>,
                                        <metric_name>,
                                        <granularity>,
                                        <start_time>,
                                        <end_time>
                                      )
          )

Vous pouvez ensemble mettre en place des alertes et des notifications pour vos métriques de surveillance. Pour plus d’informations, voir Alertes et notifications.