Automatische Erfassung von Inferenzprotokollen für Echtzeit-Inferenz¶

Verwenden Sie die automatische Erfassung in Snowflake ML, um automatisch jede Anfrage und Antwort zu protokollieren, die von einem Modelldienst verarbeitet werden. Die automatische Erfassung bietet einen sofortigen Einblick in die Erfolge von Anfragen, die Anfragefehler und die Eingaben, die hinter unerwarteten Vorhersagen stehen.

Anstatt Anfrage- oder Antwortdaten in eine Tabelle oder Ansicht weiterzuleiten, können Sie Inferenzanfrage- und Antwortdaten automatisch speichern. Anstatt Pipelines für die Datenerfassung und -überwachung korrekt zu erstellen, können Sie die automatische Erfassung verwenden.

Mit der automatischen Erfassung stehen Ihnen folgende Möglichkeiten zur Verfügung:

• Schnelles Debuggen: Analysieren Sie historische Inferenzdaten, um Grenzfälle zu diagnostizieren und das Verhalten von Modellen zu verstehen.

• Kontinuierliche Verbesserung Ihrer Modelle: Verwenden Sie reale Produktionsdaten, um hochwertige Datensets zu erstellen und neue Modelle zu trainieren.

• Testen: Verwenden Sie die aus den Protokollen gesammelten Daten für A/B- und Shadow-Tests.

Für jede Inferenzanfrage protokolliert die automatische Erfassung Folgendes:

• Nutzlast der Anfrage

• Nutzlast der Antwort

• Bezeichner der Modellversion

• Dienstbezeichner

• Metadaten zum Gateway-Routing

• Zeitstempel von Anfrage/Antwort

• Antwortcode (z. B. 200).

Diese Daten sind schreibgeschützt und können von Benutzenden nicht geändert werden.

Snowflake erfasst nur Antwortdaten für erfolgreiche Anfragen. Wenn eine Anfrage fehlschlägt, erfasst Snowflake keine Daten.

Voraussetzungen und Kompatibilität von Modellversionen¶

In den folgenden Abschnitten werden die Voraussetzungen und die Kompatibilität von Modellversionen für die automatische Erfassung beschrieben.

CREATE [ OR REPLACE ] MODEL [ IF NOT EXISTS ] <name> [ WITH VERSION <version_name> ]
FROM MODEL <source_model_name> [ VERSION <source_version_or_alias_name> ]

Aktivieren der automatischen Erfassung¶

Nachdem Sie ein neues Modell erstellt oder ein bestehendes Modell geklont haben, aktivieren Sie die automatische Erfassung für den Modelldienst unter Verwendung des Python-SDK. Weitere Informationen über den Modelldienst finden Sie unter Einsatz von Modellen für Echtzeit-Inferenz (REST API).

Verwenden Sie den folgenden Python-Code, um die automatische Erfassung zu aktivieren:

mv.create_service(
    service_name="my_service",
    service_compute_pool="my_compute_pool",
    autocapture=True
)

Die mv-Variable ist das Objekt der Modellversion. Sie haben es definiert, als Sie das Modell in der Modell-Registry protokolliert haben.

Der Standardwert für die automatische Erfassung ist False. Stellen Sie sicher, dass Sie die automatische Erfassung für ein Modell aktivieren, das Sie nach dem 23. Januar 2026 erstellt und in der Modell-Registry protokolliert haben. Andernfalls schlägt die Erstellung des Dienstes fehl, weil das Modell keine Inferenztabelle hat.

Abfragen von Inferenzdaten¶

Um auf Ihre Protokolle zuzugreifen, verwenden Sie die Funktion INFERENCE_TABLE. Diese Funktion gibt Inferenzprotokolle für ein Modell zurück und unterstützt das Filtern nach Version, Dienst und Gateway. Nur Personen mit Eigentumsrechten an einem Modell können die Daten sehen, wenn sie über USAGE-Berechtigungen für das Gateway und den Dienst verfügen.

-- Fetch all inference logs for a specific model
SELECT * FROM TABLE(INFERENCE_TABLE('my_model'));

SELECT * FROM TABLE(
INFERENCE_TABLE(
'MY_MODEL',
VERSION => 'V1',
SERVICE => 'MY_PREDICTION_SERVICE',
GATEWAY => 'MY_GATEWAY'
)
);

WHERE RECORD_ATTRIBUTES:"snow.model_serving.function.name" = 'predict'

SELECT *
FROM TABLE(
  INFERENCE_TABLE('my_model')
);

SELECT *
FROM TABLE(
  INFERENCE_TABLE(
    'my_model',
    MODEL_VERSION => 'v1'
  )
);

SELECT *
FROM TABLE(
  INFERENCE_TABLE(
    'my_model',
    MODEL_VERSION => 'v1',
    SERVICE => 'my_service'
  )
);

SELECT *
FROM TABLE(
  INFERENCE_TABLE(
    'my_model',
    MODEL_VERSION => 'v1',
    GATEWAY => 'my_gateway'
  )
);

Datenschema und Metadaten¶

Snowflake erfasst nur Antwortdaten für erfolgreiche Anfragen. Wenn eine Anfrage fehlschlägt, erfasst Snowflake keine Daten.

Im Folgenden finden Sie die Datensatzattribute, die erfasst werden:

Datenkürzungslogik¶

Um die Systemleistung aufrechtzuerhalten, gibt es ein Limit von 1 MB für jedes Inferenzereignis. Wenn Anfrage und Antwort das Limit erreichen, führt Snowflake eine mehrstufige Kürzung durch, um so viel Funktionalität wie möglich zu erhalten.

Die folgende Tabelle zeigt den Kürzungsvorgang:

*Stufe 3 tritt auf, wenn die Metadaten allein den Schwellenwert nach der Reduzierung des Inhalts überschreiten.

Einschränkungen¶

Beachten Sie bei der Verwendung der automatischen Erfassung die folgenden Einschränkungen und Hinweise:

• Unterstützung von LLM: Die automatische Erfassung wird für große Sprachmodelle (LLMs) nicht unterstützt.

• Durchsatz: Die automatische Erfassung ist für einen Systemdurchsatz von ca. 300–400 Anfragen pro Sekunde (oder 10MB/s) pro Dienst ausgelegt.

• Replikation: Sie können Inferenztabellen nicht replizieren. Replizierte Modelle haben keine Inferenztabellen im Zielkonto.

• Aufbewahrung: Die Inferenzdaten bleiben auch dann erhalten, wenn der Dienst oder das Gateway gelöscht wird.

• Warnung: Wenn Sie das Objekt löschen, werden alle zugehörigen Inferenzdaten dauerhaft gelöscht.

• Ground Truth: Um die Abweichungsanalyse durchzuführen, führen Sie eine separate Ground-Truth-Tabelle und verknüpfen diese mithilfe allgemeiner Anfragen-IDs mit der INFERENCE_TABLE-Ausgabe.

• Verbraucherkonten: Verbraucherkonten können keinen Dienst mit aktivierter automatischer Erfassung für freigegebene Modelle mit Inferenztabellen erstellen.

• Leistung: Die automatische Erfassung ist so konzipiert, dass bei Inferenzanfragen keine zusätzliche Latenz entsteht. Bei extrem hohem Anfragevolumen kann es jedoch vorkommen, dass einzelne Erfassungen gelöscht werden.

Schema¶

Im Rahmen dieses Features werden die folgenden Werte zu den jeweiligen Spalten hinzugefügt: