Kategorien:: Funktionen von Modellmonitoren

MODEL_MONITOR_PERFORMANCE_METRIC¶

Ruft Leistungsmetriken von einem Modellmonitor ab. Jeder Modellmonitor überwacht ein Machine-Learning-Modell.

Siehe auch:: Abfrage der Überwachungsergebnisse für weitere Informationen.

Syntax¶

MODEL_MONITOR_PERFORMANCE_METRIC(<model_monitor_name>, <performance_metric_name>,
    [, <granularity> [, <start_time>  [, <end_time> [, <extra_args> ] ] ] ] )

Copy

Argumente¶

Benötigt:

MODEL_MONITOR_NAME

Name des Modellmonitors, der für die Berechnung der Metrik verwendet wird.

Gültige Werte:

Eine Zeichenfolge, die der Name des Modellmonitors ist. Dies kann ein einfacher oder voll qualifizierter Name sein.

METRIC_NAME

Name der Leistungsmetrik.

Gültige Werte, wenn der Modellmonitor mit einem Regressionsmodell verbunden ist:

'RMSE'

'MAE'

'MAPE'

'MSE'

Gültige Werte, wenn der Modellmonitor mit einem binären Klassifizierungsmodell verbunden ist:

'ROC_AUC'

'CLASSIFICATION_ACCURACY'

'PRECISION'

'RECALL'

'F1_SCORE'

Optional:

GRANULARITY

Granularität des abgefragten Zeitbereichs. Der Standardwert lautet 1 DAY.

Gültige Werte:

'<Zahl> DAY'

'<Zahl> WEEK'

'<Zahl> MONTH'

'<Zahl> QUARTER'

'<Zahl> YEAR'

'ALL'

NULL

START_TIME

Beginn des Zeitbereichs, der für die Berechnung der Metrik verwendet wird. Der Standardwert ist 60 Tage vor der aktuellen Zeit und wird jedes Mal berechnet, wenn Sie die Funktion aufrufen.

Gültige Werte:

Ein Zeitstempel-Ausdruck oder NULL.

END_TIME

Ende des Zeitbereichs, der für die Berechnung der Metrik verwendet wird. Der Standardwert ist die aktuelle Zeit und wird jedes Mal berechnet, wenn Sie die Funktion aufrufen.

Gültige Werte:

Ein Zeitstempel-Ausdruck oder NULL.

EXTRA_ARGS

Zusätzliche Argumente für segmentspezifische Abfragen. Dieser Parameter ist optional – wenn er nicht angegeben wird, gibt die Abfrage Metriken für alle Daten zurück (Nicht-Segment-Abfrage).

Gültige Werte: Eine Zeichenfolge im JSON-Format mit Angabe von Segmentspalte:Wert-Paaren: '{"SEGMENTS": [{"column": "<segment_column_name>", "value": "<segment_value>"}]}'

Bemerkung

Derzeit unterstützen Segmentabfragen nur 1 Segmentspalte:Wert-Paar pro Abfrage. Sie können nicht mehrere Segmente gleichzeitig in einem einzigen Funktionsaufruf abfragen.

Weitere Informationen zu Segmenten finden Sie unter ML Observability: Überwachen des Modellverhaltens im Laufe der Zeit.

Rückgabewerte¶

Spalte	Beschreibung	Beispielwerte
`EVENT_TIMESTAMP`	Zeitstempel zu Beginn des Zeitbereichs.	`2024-01-01 00:00:00.000`
`METRIC_VALUE`	Wert der Metrik innerhalb des angegebenen Zeitbereichs.	`0.5`
`COUNT_USED`	Anzahl der Datensätze, die zur Berechnung der Metrik verwendet werden.	`100`
`COUNT_UNUSED`	Anzahl der Datensätze, die von der Berechnung der Metrik ausgeschlossen werden.	`10`
`METRIC_NAME`	Name der Metrik, die berechnet wurde.	`ROC_AUC`
`SEGMENT_COLUMN`	Name der Segmentspalte, für die die Metrik berechnet wird (oder NULL für Nicht-Segment-Abfragen).	`CUSTOMER_TIER`
`SEGMENT_VALUE`	Segmentwert, für den die Metrik berechnet wird (oder NULL für Nicht-Segment-Abfragen).	`PREMIUM`

Nutzungshinweise¶

Wenn ein Wert, den Sie für model_monitor_name angegeben haben, zwischen Groß- und Kleinschreibung unterscheidet oder Sonderzeichen oder Leerzeichen enthält, setzen Sie ihn in doppelte Anführungszeichen. Sie müssen die doppelten Anführungszeichen in einfache Anführungszeichen einschließen. Beispiel: '"<example_model_monitor_name>"'.

Wenn Sie keine doppelten Anführungszeichen verwenden, wird davon ausgegangen, dass bei model_monitor_name die Groß-/Kleinschreibung nicht relevant ist.

Um mögliche Auswirkungen von Schemaänderungen zu minimieren, aktualisieren Sie Ihre Abfragen, um explizit nur die erforderlichen Spalten auszuwählen, anstatt einen Platzhalter zu verwenden (*).

Allgemeine Anforderungen¶

Der Modellmonitor muss mit einem Modell verbunden sein, das den gewünschten Metriktyp unterstützt.
Der Modellmonitor muss die erforderlichen Daten für jeden Metriktyp enthalten, wie unten beschrieben.

Metrikanforderungen¶

Im Folgenden finden Sie die erforderlichen Spalten, um Regressionsmetriken abzurufen:

RMSE: Benötigt die Spalten prediction_score und actual_score
MAE: Benötigt die Spalten prediction_score und actual_score
MAPE: Benötigt die Spalten prediction_score und actual_score

Im Folgenden finden Sie die erforderlichen Spalten, um binäre Klassifizierungsmetriken abzurufen:

ROC_AUC: Benötigt die Spalten prediction_score und actual_class
CLASSIFICATION_ACCURACY: Benötigt die Spalten prediction_class und actual_class
PRECISION: Benötigt die Spalten prediction_class und actual_class
RECALL: Benötigt die Spalten prediction_class und actual_class
F1_SCORE: Benötigt die Spalten prediction_class und actual_class

Im Folgenden finden Sie die erforderlichen Spalten, um Metriken für die mehrklassige Klassifizierung abzurufen:

CLASSIFICATION_ACCURACY: Benötigt die Spalten prediction_class und actual_class
MACRO_AVERAGE_PRECISION: Benötigt die Spalten prediction_class und actual_class
MACRO_AVERAGE_RECALL: Benötigt die Spalten prediction_class und actual_class
MICRO_AVERAGE_PRECISION: Benötigt die Spalten prediction_class und actual_class
MICRO_AVERAGE_RECALL: Benötigt die Spalten prediction_class und actual_class

Bemerkung

Für die binäre Klassifizierung können Sie den Mikrodurchschnitt der Genauigkeits- und Recall-Metriken verwenden, ähnlich wie Sie die Klassifizierungsgenauigkeit bei der Mehrklassenklassifizierung verwenden.

Fehlerfälle¶

Sie könnten auf Fehler stoßen, wenn Sie Folgendes tun:

Eine Genauigkeitsmetrik anfordern, ohne die entsprechende Vorhersagespalte oder Spalte mit tatsächlichen Werten zu setzen.
Keine Daten in der Spalte actual_score oder actual_class angeben.

Beispiele¶

Im folgenden Beispiel wird die Wurzel des mittleren quadratischen Fehlers (Root Mean Square Error) (RMSE) über einen Zeitraum von einem Tag aus dem Modellmonitor ermittelt.

SELECT * FROM TABLE(MODEL_MONITOR_PERFORMANCE_METRIC(
'MY_MONITOR', 'RMSE', '1 DAY', TO_TIMESTAMP_TZ('2024-01-01'), TO_TIMESTAMP_TZ('2024-01-02'))
)

Copy

Das folgende Beispiel ruft die Wurzel des mittleren quadratischen Fehlers (RMSE) über die letzten 30 Tage aus dem Modellmonitor ab:

SELECT * FROM TABLE(MODEL_MONITOR_PERFORMANCE_METRIC(
'MY_MONITOR', 'RMSE', '1 DAY', DATEADD('DAY', -30, CURRENT_DATE()), CURRENT_DATE())
)

Copy