Kategorien:: Funktionen von Modellmonitoren

MODEL_MONITOR_PERFORMANCE_METRIC¶

Ruft Leistungsmetriken von einem Modellmonitor ab. Jeder Modellmonitor überwacht ein Machine-Learning-Modell.

Siehe auch:: Abfrage der Überwachungsergebnisse für weitere Informationen.

Syntax¶

MODEL_MONITOR_PERFORMANCE_METRIC(<model_monitor_name>, <performance_metric_name>,
    [, <granularity> [, <start_time>  [, <end_time> ] ] ] )

Copy

Argumente¶

Benötigt:

MODEL_MONITOR_NAME

Name des Modellmonitors, der für die Berechnung der Metrik verwendet wird.

Gültige Werte:

Eine Zeichenfolge, die der Name des Modellmonitors ist. Dies kann ein einfacher oder voll qualifizierter Name sein.

METRIC_NAME

Name der Leistungsmetrik.

Gültige Werte, wenn der Modellmonitor mit einem Regressionsmodell verbunden ist:

'RMSE'

'MAE'

'MAPE'

'MSE'

Gültige Werte, wenn der Modellmonitor mit einem binären Klassifizierungsmodell verbunden ist:

'ROC_AUC'

'CLASSIFICATION_ACCURACY'

'PRECISION'

'RECALL'

'F1_SCORE'

Optional:

GRANULARITY

Granularität des abgefragten Zeitbereichs. Der Standardwert lautet 1 DAY.

Gültige Werte:

'<Zahl> DAY'

'<Zahl> WEEK'

'<Zahl> MONTH'

'<Zahl> QUARTER'

'<Zahl> YEAR'

'ALL'

NULL

START_TIME

Beginn des Zeitbereichs, der für die Berechnung der Metrik verwendet wird. Der Standardwert ist 60 Tage vor der aktuellen Zeit und wird jedes Mal berechnet, wenn Sie die Funktion aufrufen.

Gültige Werte:

Ein Zeitstempel-Ausdruck oder NULL.

END_TIME

Ende des Zeitbereichs, der für die Berechnung der Metrik verwendet wird. Der Standardwert ist die aktuelle Zeit und wird jedes Mal berechnet, wenn Sie die Funktion aufrufen.

Gültige Werte:

Ein Zeitstempel-Ausdruck oder NULL.

Rückgabewerte¶

Spalte	Beschreibung	Beispielwerte
`EVENT_TIMESTAMP`	Zeitstempel zu Beginn des Zeitbereichs.	`2024-01-01 00:00:00.000`
`METRIC_VALUE`	Wert der Metrik innerhalb des angegebenen Zeitbereichs.	`0.5`
`COUNT_USED`	Anzahl der Datensätze, die zur Berechnung der Metrik verwendet werden.	`100`
`COUNT_UNUSED`	Anzahl der Datensätze, die von der Berechnung der Metrik ausgeschlossen werden.	`10`
`METRIC_NAME`	Name der Metrik, die berechnet wurde.	`ROC_AUC`

Nutzungshinweise¶

Allgemeine Anforderungen¶

Der Modellmonitor muss mit einem Modell verbunden sein, das den gewünschten Metriktyp unterstützt.
Der Modellmonitor muss die erforderlichen Daten für jeden Metriktyp enthalten, wie unten beschrieben.

Metrikanforderungen¶

Im Folgenden finden Sie die erforderlichen Spalten, um Regressionsmetriken abzurufen:

RMSE: Benötigt die Spalten prediction_score und actual_score
MAE: Benötigt die Spalten prediction_score und actual_score
MAPE: Benötigt die Spalten prediction_score und actual_score

Im Folgenden finden Sie die erforderlichen Spalten, um binäre Klassifizierungsmetriken abzurufen:

ROC_AUC: Benötigt die Spalten prediction_score und actual_class
CLASSIFICATION_ACCURACY: Benötigt die Spalten prediction_class und actual_class
PRECISION: Benötigt die Spalten prediction_class und actual_class
RECALL: Benötigt die Spalten prediction_class und actual_class
F1_SCORE: Benötigt die Spalten prediction_class und actual_class

Im Folgenden finden Sie die erforderlichen Spalten, um Metriken für die mehrklassige Klassifizierung abzurufen:

CLASSIFICATION_ACCURACY: Benötigt die Spalten prediction_class und actual_class
MACRO_AVERAGE_PRECISION: Benötigt die Spalten prediction_class und actual_class
MACRO_AVERAGE_RECALL: Benötigt die Spalten prediction_class und actual_class
MICRO_AVERAGE_PRECISION: Benötigt die Spalten prediction_class und actual_class
MICRO_AVERAGE_RECALL: Benötigt die Spalten prediction_class und actual_class

Bemerkung

Für die binäre Klassifizierung können Sie den Mikrodurchschnitt der Genauigkeits- und Recall-Metriken verwenden, ähnlich wie Sie die Klassifizierungsgenauigkeit bei der Mehrklassenklassifizierung verwenden.

Fehlerfälle¶

Sie könnten auf Fehler stoßen, wenn Sie Folgendes tun:

Eine Genauigkeitsmetrik anfordern, ohne die entsprechende Vorhersagespalte oder Spalte mit tatsächlichen Werten zu setzen.
Keine Daten in der Spalte actual_score oder actual_class angeben.

Beispiele¶

Im folgenden Beispiel wird die Wurzel des mittleren quadratischen Fehlers (Root Mean Square Error) (RMSE) über einen Zeitraum von einem Tag aus dem Modellmonitor ermittelt.

SELECT * FROM TABLE(MODEL_MONITOR_PERFORMANCE_METRIC(
'MY_MONITOR', 'RMSE', '1 DAY', TO_TIMESTAMP_TZ('2024-01-01'), TO_TIMESTAMP_TZ('2024-01-02'))
)

Copy

Das folgende Beispiel ruft die Wurzel des mittleren quadratischen Fehlers (RMSE) über die letzten 30 Tage aus dem Modellmonitor ab:

SELECT * FROM TABLE(MODEL_MONITOR_PERFORMANCE_METRIC(
'MY_MONITOR', 'RMSE', '1 DAY', DATEADD('DAY', -30, CURRENT_DATE()), CURRENT_DATE())
)

Copy