Catégories :: Fonctions du moniteur de modèles

MODEL_MONITOR_PERFORMANCE_METRIC¶

Obtient les mesures de performance à partir d’un moniteur de modèle. Chaque moniteur de modèle surveille un modèle de machine learning.

Voir aussi :: Interrogation des résultats de surveillance pour plus d’informations.

Syntaxe¶

MODEL_MONITOR_PERFORMANCE_METRIC(<model_monitor_name>, <performance_metric_name>,
    [, <granularity> [, <start_time>  [, <end_time> ] ] ] )

Copy

Arguments¶

Obligatoire :

MODEL_MONITOR_NAME

Nom du moniteur de modèle utilisé pour calculer la métrique.

Valeurs valides :

Une chaîne qui est le nom du moniteur du modèle. Il peut s’agir d’un nom simple ou entièrement qualifié.

METRIC_NAME

Nom de la mesure de performance.

Valeurs valables si le moniteur de modèle est attaché à un modèle de régression :

'RMSE'

'MAE'

'MAPE'

'MSE'

Valeurs valables si le moniteur de modèle est attaché à un modèle de classification binaire :

'ROC_AUC'

'CLASSIFICATION_ACCURACY'

'PRECISION'

'RECALL'

'F1_SCORE'

Facultatif :

GRANULARITY

Granularité de l’intervalle de temps faisant l’objet de la requête. La valeur par défaut est 1 DAY.

Valeurs valides :

'<nb> DAY'

'<nb> WEEK'

'<nb> MONTH'

'<nb> QUARTER'

'<nb> YEAR'

'ALL'

NULL

START_TIME

Début de l’intervalle de temps utilisé pour calculer la métrique. La valeur par défaut est de 60 jours avant l’heure actuelle et est calculée chaque fois que vous appelez la fonction.

Valeurs valides :

Une expression d’horodatage ou NULL.

END_TIME

Fin de l’intervalle de temps utilisé pour calculer la métrique. La valeur par défaut est l’heure actuelle et est calculée à chaque fois que vous appelez la fonction.

Valeurs valides :

Une expression d’horodatage ou NULL.

Renvoie¶

Colonne	Description	Exemples de valeurs
`EVENT_TIMESTAMP`	Horodatage du début de l’intervalle de temps.	`2024-01-01 00:00:00.000`
`METRIC_VALUE`	Valeur de la métrique dans l’intervalle de temps spécifié.	`0.5`
`COUNT_USED`	Nombre d’enregistrements utilisés pour calculer la métrique.	`100`
`COUNT_UNUSED`	Nombre d’enregistrements exclus du calcul de la métrique.	`10`
`METRIC_NAME`	Nom de la métrique qui a été calculée.	`ROC_AUC`

Notes sur l’utilisation¶

Exigences générales¶

Le moniteur de modèle doit être associé à un modèle qui prend en charge le type de métrique requis.
Le moniteur de modélisation doit contenir les données nécessaires pour chaque type de métrique, comme décrit ci-dessous.

Exigences métriques¶

Les colonnes suivantes sont requises pour obtenir les mesures de régression :

RMSE : requiert les colonnes prediction_score et actual_score
MAE : requiert les colonnes prediction_score et actual_score
MAPE : requiert les colonnes prediction_score et actual_score

Les colonnes suivantes sont requises pour obtenir des mesures de classification binaire :

ROC_AUC : requiert les colonnes prediction_score et actual_class
CLASSIFICATION_ACCURACY : requiert les colonnes prediction_class et actual_class
PRECISION : requiert les colonnes prediction_class et actual_class
RECALL : requiert les colonnes prediction_class et actual_class
F1_SCORE : requiert les colonnes prediction_class et actual_class

Les colonnes suivantes sont requises pour obtenir des mesures de classification multiclasse :

CLASSIFICATION_ACCURACY : requiert les colonnes prediction_class et actual_class
MACRO_AVERAGE_PRECISION : requiert les colonnes prediction_class et actual_class
MACRO_AVERAGE_RECALL : requiert les colonnes prediction_class et actual_class
MICRO_AVERAGE_PRECISION : requiert les colonnes prediction_class et actual_class
MICRO_AVERAGE_RECALL : requiert les colonnes prediction_class et actual_class

Note

Pour la classification binaire, vous pouvez utiliser les mesures de précision et de rappel micro-moyennes de la même manière que vous utilisez la précision de la classification dans la classification multi-classes.

Cas d’erreur¶

Vous risquez de rencontrer des erreurs si vous effectuez les actions suivantes :

Requérir une mesure de précision sans paramétrer la colonne correspondante de prédiction ou de réalité.
Ne pas fournir de données dans la colonne actual_score ou actual_class.

Exemples¶

L’exemple suivant permet d’obtenir l’erreur quadratique moyenne racine (RMSE) sur une période d’un jour à partir du moniteur de modèle.

SELECT * FROM TABLE(MODEL_MONITOR_PERFORMANCE_METRIC(
'MY_MONITOR', 'RMSE', '1 DAY', TO_TIMESTAMP_TZ('2024-01-01'), TO_TIMESTAMP_TZ('2024-01-02'))
)

Copy

L’exemple suivant permet d’obtenir l’erreur quadratique moyenne racine (RMSE) pour les 30 derniers jours à partir du moniteur de modèle :

SELECT * FROM TABLE(MODEL_MONITOR_PERFORMANCE_METRIC(
'MY_MONITOR', 'RMSE', '1 DAY', DATEADD('DAY', -30, CURRENT_DATE()), CURRENT_DATE())
)

Copy