ML Observability : suivi du comportement du modèle dans le temps¶

Suspension automatique en cas de défaut d’actualisation¶

Les moniteurs de modèles suspendent automatiquement les actualisations lorsqu’ils rencontrent cinq échecs consécutifs d’actualisation liés aux tables sources. Vous pouvez voir le statut et la cause de la suspension de l’actualisation avec la commande DESCRIBE MODEL MONITOR. La sortie comprend notamment les colonnes suivantes :

• aggregation_status : la valeur de cette colonne est un objet JSON. Une ou plusieurs valeurs de cet objet seront SUSPENDED si le moniteur de modèle est suspendu.

• aggregation_last_error : la valeur de cette colonne est un objet JSON qui contient l’erreur SQL spécifique à l’origine de la suspension.

Après avoir résolu la cause racine de l’échec de l’actualisation, reprenez le moniteur en émettant ALTER MODEL MONITOR … RESUME.

Création de moniteurs avec des segments¶

Lors de la création d’un moniteur de modèle, vous pouvez spécifier des colonnes de segment à l’aide du paramètre SEGMENT_COLUMNS. Les colonnes de segment doivent être des colonnes de chaînes dans vos données sources.

CREATE [OR REPLACE] MODEL MONITOR [IF NOT EXISTS] <NAME> WITH
    --- all other existing parameters of CREATE MODEL MONITOR
    SEGMENT_COLUMNS = (<segment_column_name_array>)

Pour plus de détails sur la syntaxe et les paramètres, consultez CREATE MODEL MONITOR.

Ajout de segments à des moniteurs existants ou à de nouveaux moniteurs¶

Vous pouvez ajouter des colonnes de segments aux moniteurs existants en utilisant la commande ALTER MODEL MONITOR :

ALTER MODEL MONITOR <NAME> ADD SEGMENT_COLUMN = <segment_column_name>

Vous pouvez également supprimer des colonnes de segment dans des moniteurs existants :

ALTER MODEL MONITOR <NAME> DROP SEGMENT_COLUMN = <segment_column_name>

Pour la syntaxe et les options complètes, consultez ALTER MODEL MONITOR.

Définition du segment dans le paramètre Surveillance des segments dans l’UI¶

Vous pouvez configurer et gérer des segments via les paramètres Surveillance des segments dans l’UI :

L” interface des paramètres des segments vous permet de définir et de configurer les segments à surveiller pour votre modèle.

Choisir le segment dans le sélecteur de segments dans le tableau de bord du moniteur du modèles¶

Dans le tableau de bord du moniteur de modèles, vous pouvez utiliser le sélecteur de segments pour afficher les métriques de segments spécifiques de vos données :

Considérations relatives aux performances des segments¶

Les performances dépendent de nombreux facteurs, tels que le nombre de fonctionnalités, le nombre de colonnes de segments, les valeurs uniques par colonne de segments, la taille des entrepôts, le type d’entrepôt, la fenêtre agrégation, le nombre total de lignes et les lignes par fenêtre d’agrégation.

• L’impact au niveau des performances de CREATE avec SEGMENT_COLUMNS est directement proportionnel au nombre de colonnes de segments dans la requête

• Si la performanceCREATE est lente avec de nombreuses colonnes de segments. pensez à ajouter des colonnes de segments, une à la fois, en utilisant la commande ALTER

• Chaque colonne de segment et chaque combinaison de valeurs sont interrogées indépendamment, et il peut y avoir des différences de temps dans la date de la dernière mise à jour des données en fonction de la planification et d’autres facteurs. Mais nous faisons de notre mieux pour mettre à jour toutes les données en même temps.

Interrogation de métriques spécifiques au segment¶

Pour interroger les métriques de segments spécifiques, utiliser le paramètre <extra_args> parameter with a JSON format that specifies the segment column and value. The <extra_args> est facultatif - s’il n’est pas fourni, la requête renvoie les métriques de toutes les données (requête sans segment).

Pour les requêtes de segment, utilisez ce format pour le paramètre <extra_args> :

'{"SEGMENTS": [{"column": "<segment_column_name>", "value": "<segment_value>"}]}'

Par exemple, pour obtenir des métriques de dérive pour les clients premium uniquement :

SELECT *
FROM TABLE(MODEL_MONITOR_DRIFT_METRIC (
                                        'my_customer_monitor',
                                        'PSI',
                                        'FEATURE_1',
                                        'DAY',
                                        '2024-01-01'::TIMESTAMP_NTZ,
                                        '2024-01-31'::TIMESTAMP_NTZ,
                                        '{"SEGMENTS": [{"column": "CUSTOMER_TIER", "value": "PREMIUM"}]}'
                                      )
          )

Les tables de résultats pour les requêtes de segment comprennent deux colonnes supplémentaires :

• SEGMENT_COLUMN : Nom de la colonne de segment pour laquelle la métrique est calculée (ou NULL pour les requêtes autres que des segments).

• SEGMENT_VALUE : Valeur du segment pour lequel la métrique est calculée (ou NULL pour les requêtes autres que des segments).

Pour plus d’informations sur les segments, consultez Ajout de segments à un moniteur de modèles.

Vous pouvez ensemble mettre en place des alertes et des notifications pour vos métriques de surveillance. Pour plus d’informations, voir Alertes et notifications.

Limitations connues¶

Les limites suivantes s’appliquent aux modèles de moniteurs :

• Les moniteurs doivent résider dans la même base de données et le même schéma que la version du modèle.

• Seuls les modèles de régression à sortie unique et de classification binaire sont pris en charge.

• Au moins une colonne de prédiction (classe ou score) est exigée ; les colonnes réelles sont facultatives mais nécessaires pour les métriques de précision.

• Le calcul de la dérive nécessite des données de référence. Sans celles-ci, pour ajouter des données de référence, vous devez supprimer le moniteur et le créer à nouveau.

• Chaque colonne ne peut être utilisée qu’une seule fois dans le moniteur. Par exemple, vous ne pouvez pas utiliser la même colonne que la colonne ID et la colonne de prédiction.

• Les données ne peuvent pas contenir de valeurs non valides (des valeurs nulles, NaNs, +/-Inf, des scores de probabilité en dehors de l’intervalle 0-1, des classes non binaires, ou plus de deux classes dans une colonne PREDICTION_CLASS_COLUMNS) afin d’éviter l’échec et la suspension du moniteur.

• Les colonnes d’horodatage doivent être du type TIMESTAMP_NTZ ; les colonnes de prédiction et réelles doivent être du type NUMBER.

• Vous devez spécifier les fenêtres d’agrégation en jours.

• Un maximum de 500 fonctions peut être surveillé.

• Il est possible de créer jusqu’à 250 moniteurs.

• Les colonnes de segment doivent uniquement être des colonnes catégorielles de chaîne.

• Un maximal de 5 colonnes de segments par moniteur de modèles (limite stricte).

• Chaque colonne de segment doit avoir moins de 25 valeurs uniques (limite recommandée).

• Les valeurs des segments sont sensibles à la casse et les caractères spéciaux ne sont pas pris en charge pour les requêtes de segments.

• Le filtrage NULL n’est pas pris en charge pour les requêtes de segment.

Considérations relatives aux clients¶

Calcul de l’entrepôt virtuel :

• Les moniteurs de modèles utilisent un entrepôt virtuel, ce qui entraîne des coûts lors de la création et de chaque actualisation.

• Le chargement du tableau de bord Snowsight fait également appel à un entrepôt virtuel, ce qui entraîne des frais supplémentaires.

Stockage :

• Les moniteurs de modèles matérialisent les données sources dans une table stockée dans votre compte.

• Les colonnes de segment ajoutent une table matérialisée supplémentaire stockée dans votre compte.

Calcul des services Cloud :

• Les moniteurs de modèles utilisent le calcul des services cloud pour déclencher des actualisations lorsqu’un objet de base sous-jacent a changé. Le coût de calcul des services Cloud n’est facturé que si le coût quotidien des services cloud est supérieur à 10 % du coût quotidien de l’entrepôt pour le compte.