ML Observability: Überwachen des Modellverhaltens im Laufe der Zeit¶

Automatisches Anhalten bei Ausfall der Aktualisierung¶

Modellmonitore halten Aktualisierungen automatisch an, wenn fünf aufeinanderfolgende Aktualisierungsfehler in Bezug auf die Quelltabellen festgestellt werden. Sie können den Status und die Ursache des Anhaltens der Aktualisierung mit dem Befehl DESCRIBE MODEL MONITOR einsehen. Die Ausgabe enthält u. a. die folgenden Spalten:

• aggregation_status: Der Wert in dieser Spalte ist ein JSON-Objekt. Einer oder mehrere der Werte in diesem Objekt werden SUSPENDED sein, wenn der Modellmonitor angehalten wird.

• aggregation_last_error: Der Wert in dieser Spalte ist ein JSON-Objekt, das den spezifischen SQL-Fehler enthält, der das Anhalten verursacht hat.

Nachdem Sie die Ursache des Aktualisierungsfehlers behoben haben, setzen Sie den Monitor fort, indem Sie ALTER MODEL MONITOR … RESUME aufrufen.

Erstellen von Monitoren mit Segmenten¶

Beim Erstellen eines Modellmonitors können Sie mit mithilfe des Parameters SEGMENT_COLUMNS Segmentspalten angeben. Segmentspalten müssen in Ihren Quelldaten Zeichenfolgenspalten sein.

CREATE [OR REPLACE] MODEL MONITOR [IF NOT EXISTS] <NAME> WITH
    --- all other existing parameters of CREATE MODEL MONITOR
    SEGMENT_COLUMNS = (<segment_column_name_array>)

Die vollständige Syntax und die Angaben zu den Parameter finden Sie unter CREATE MODEL MONITOR.

Hinzufügen von Segmenten zu bestehenden oder neuen Monitoren¶

Sie können bestehenden Monitore mithilfe des Befehls ALTER MODEL MONITOR Segmentspalten hinzufügen:

ALTER MODEL MONITOR <NAME> ADD SEGMENT_COLUMN = <segment_column_name>

Sie können auch Segmentspalten aus bestehenden Monitoren entfernen:

ALTER MODEL MONITOR <NAME> DROP SEGMENT_COLUMN = <segment_column_name>

Die vollständige Syntax und die Optionen finden Sie unter ALTER MODEL MONITOR.

Definieren des Segments unter „Monitoring Segments“ in der UI¶

Sie können Segmente über die Einstellungen für die Überwachung von Segmenten in der UI konfigurieren und verwalten:

Über die Schnittstelle für die Segmenteinstellungen können Sie definieren und konfigurieren, welche Segmente für Ihr Modell überwacht werden sollen.

Wählen Sie im Modellmonitor-Dashboard in der Segmentauswahl das Segment aus.¶

Im Modellmonitor-Dashboard können Sie die Segmentauswahl verwenden, um Kennzahlen für bestimmte Segmente Ihrer Daten anzuzeigen:

Hinweise zur Leistung von Segmenten¶

Die Performance hängt von vielen Faktoren ab, wie Anzahl der Features, Anzahl der Segmentspalten, eindeutige Werte pro Segmentspalte, Warehouse-Größe, Warehouse-Typ, Aggregationsfenster, Gesamtzeilen und Zeilen pro Aggregationsfenster.

• Die Auswirkung auf die Performance von CREATE durch SEGMENT_COLUMNS ist direkt proportional zur Anzahl der Segmentspalten in der Anforderung.

• Wenn die CREATE-Performance bei vielen Segmentspalten langsam ist, sollten Sie in Erwägung ziehen, die Segmentspalten einzeln mit dem Befehl ALTER hinzuzufügen.

• Jede Kombination aus Segmentspalte und Wert wird unabhängig abgefragt, und es kann aufgrund von Zeitplänen und anderen Faktoren Zeitunterschiede geben, wann die Daten zuletzt aktualisiert wurden. Wir versuchen jedoch, alle Daten auf einmal zu aktualisieren.

Abfragen von segmentspezifischen Kennzahlen¶

Um die Kennzahlen für bestimmte Segmente abzufragen, verwenden Sie den Parameter <extra_args> parameter with a JSON format that specifies the segment column and value. The <extra_args>. Der Parameter ist optional – wenn er nicht angegeben wird, gibt die Abfrage Metriken für alle Daten zurück (Abfrage, die keine Segmente enthält).

Bei Segmentabfragen verwenden Sie dieses Format für den Parameter <extra_args>:

'{"SEGMENTS": [{"column": "<segment_column_name>", "value": "<segment_value>"}]}'

Zum Beispiel, um Abweichungskennzahlen ausschließlich für Premium-Kunden abzurufen:

SELECT *
FROM TABLE(MODEL_MONITOR_DRIFT_METRIC (
                                        'my_customer_monitor',
                                        'PSI',
                                        'FEATURE_1',
                                        'DAY',
                                        '2024-01-01'::TIMESTAMP_NTZ,
                                        '2024-01-31'::TIMESTAMP_NTZ,
                                        '{"SEGMENTS": [{"column": "CUSTOMER_TIER", "value": "PREMIUM"}]}'
                                      )
          )

Die Ergebnistabellen für Segmentabfragen enthalten zwei zusätzliche Spalten:

• SEGMENT_COLUMN: Name der Segmentspalte, für die die Kennzahl berechnet wird (oder NULL für Abfragen, die keine Segmente enthalten)

• SEGMENT_VALUE: Segmentwert, für den die Kennzahl berechnet wird (oder NULL für Abfragen, die keine Segmente enthalten)

Weitere Informationen zu Segmenten finden Sie unter Hinzufügen von Segmenten zu einem Modellmonitor.

Sie können Alarme und Benachrichtigungen für Ihre Überwachungsmetriken einrichten. Weitere Informationen dazu finden Sie unter Alerts und Benachrichtigungen.

Bekannte Einschränkungen¶

Die folgenden Beschränkungen gelten für Modellmonitore:

• Monitore müssen sich in derselben Datenbank und demselben Schema befinden wie die Modellversion.

• Es werden nur Einzelausgangsregressions- und binäre Klassifizierungsmodelle unterstützt.

• Mindestens eine Vorhersagespalte (Klasse oder Punktzahl) ist erforderlich. Die eigentlichen Spalten sind optional, werden aber für die Genauigkeitsmetriken benötigt.

• Für die Driftberechnung sind Basisdaten erforderlich. Wenn Sie keine Basisdaten hinzufügen möchten, müssen Sie den Monitor löschen und neu erstellen.

• Jede Spalte kann nur einmal im Monitor verwendet werden. Sie können z. B. nicht dieselbe Spalte als ID-Spalte und als Vorhersagespalte verwenden.

• Die Daten dürfen keine ungültigen Werte enthalten (Nullen, NaNs, +/-Inf, Wahrscheinlichkeitswerte außerhalb von 0-1, nicht-binäre Klassen oder mehr als zwei Klassen in einer PREDICTION_CLASS_COLUMNS-Spalte), um Überwachungsfehler und Aussetzungen zu vermeiden.

• Zeitstempelspalten müssen vom Typ TIMESTAMP_NTZ sein; Vorhersage- und Ist-Spalten müssen NUMBER sein.

• Sie müssen die Aggregationsfenster in Tagen angeben.

• Es können maximal 500 Features überwacht werden.

• Es können bis zu 250 Monitore erstellt werden.

• Segmentspalten dürfen nur kategorische Zeichenfolgenspalten sein.

• Maximal 5 Segmentspalten pro Modellmonitor (festes Limit).

• Jede Segmentspalte sollte weniger als 25 eindeutige Werte enthalten (empfohlenes Limit).

• Bei Segmentwerten wird zwischen Groß- und Kleinschreibung unterschieden, und Sonderzeichen werden für Segmentabfragen nicht unterstützt.

• Die NULL-Filterung wird für Segmentabfragen nicht unterstützt.

Hinweise zu Kosten¶

Virtuelles Warehouse-Computing:

• Modellmonitore verwenden ein virtuelles Warehouse, wodurch Kosten bei der Erstellung und jeder Aktualisierung entstehen.

• Das Laden des Snowsight-Dashboards erfolgt ebenfalls über ein virtuelles Warehouse, wofür zusätzliche Kosten anfallen.

Speicher:

• Modellmonitore materialisieren die Quelldaten in eine Tabelle, die in Ihrem Konto gespeichert ist.

• Segmentspalten fügen eine zusätzliche materialisierte Tabelle hinzu, die in Ihrem Konto gespeichert ist.

Cloud Services Compute:

• Modellmonitore verwenden Cloud Services Compute, um Aktualisierungen auszulösen, wenn sich ein zugrunde liegendes Basisobjekt geändert hat. Die Computekosten für Clouddienste werden nur in Rechnung gestellt, wenn die täglichen Kosten für Clouddienst mehr als 10 % der täglichen Warehouse-Kosten für das Konto betragen.