AI-Observability in Snowflake Cortex¶

Anwendungen¶

Eine Anwendung ist eine generative End-to-End-AI-Anwendung, die aus mehreren Komponenten wie LLMs, Tools (z. B. Suchabfragen oder APIs) und zusätzlicher benutzerdefinierter Logik aufgebaut ist. Eine Anwendung kann zum Beispiel eine RAG-Pipeline mit Abfragen, Re-Rankern und LLMs enthalten, die miteinander verkettet sind. Sie können die AI-Observability für Anwendungen aktivieren, die in jeder Umgebung (wie Snowflake, Cloud oder lokal) ausgeführt werden können.

Externer Agent¶

Anwendungen werden in Snowflake als EXTERNAL AGENT dargestellt. Ein EXTERNAL AGENT-Objekt in Snowflake wird verwendet, um Anwendungs- und Auswertungsmetadaten zu speichern (z. B. den Anwendungsnamen, den Versionsnamen oder den Laufnamen). Es speichert weder den Anwendungscode, noch die Anwendungsdefinition, die Ablaufverfolgungen oder die Bewertungsergebnisse. Während die Anwendung in einer beliebigen Umgebung (z. B. Snowflake, Cloud oder lokal) gehostet werden kann, werden die Ablaufverfolgungen und Bewertungsergebnisse in einer Ereignistabelle in Ihrem Snowflake-Konto gespeichert. Weitere Informationen dazu finden Sie unter Observability-Daten.

Das Objekt EXTERNAL AGENT speichert nicht nur Anwendungs- und Auswertungsmetadaten, sondern regelt auch den Zugriff auf die Ablaufverfolgung und die Bewertungsergebnisse der Anwendung. Weitere Informationen dazu finden Sie unter Erforderliche Berechtigungen.

Versionen¶

Anwendungen können mehrere Versionen haben. Jede Version steht für eine andere Implementierung. Diese Versionen können zum Beispiel unterschiedliche Abfragen, Aufforderungen, LLMs oder Inferenzkonfigurationen darstellen.

Datensatz¶

Ein Datensatz stellt eine Reihe von Eingaben dar. Sie können ihn so konfigurieren, dass er auch eine Reihe von erwarteten Ausgaben (die Ground Truth) darstellt, um die Anwendung zu testen. Mit Hilfe des Datensatzes können Sie die Anwendung aufrufen, um die folgenden Aufgaben zu erledigen:

• Die Ausgabe generieren.

• Den Ablauf verfolgen.

• Bewertungskennzahlen berechnen.

Sie können einen Datensatz verwenden, der sowohl die Eingaben als auch die generierten Ausgaben enthält, um die Bewertungskennzahlen zu berechnen, ohne die Anwendung aufzurufen. Eine Liste der im Datensatz unterstützten Felder finden Sie unter Datensatz und Attribute.

Läufe¶

Ein Lauf ist ein Bewertungsjob. Es verwendet den Datensatz und die Anwendungsversion, die Sie angegeben haben, um die Bewertungskennzahlen zu berechnen.

Ein Lauf hat einen Stagingbereich für den Aufruf und einen Stagingbereich für die Berechnung. Der Stagingbereich triggert die Anwendung, um die Ausgabe und die entsprechenden Ablaufverfolgungen zu erzeugen. Der Stagingbereich berechnet die für den Lauf angegebenen Bewertungskennzahlen. Es können mehrere Berechnungen durchgeführt werden, um neue Kennzahlen zu einem bestehenden Lauf hinzuzufügen. Eine Liste der Status, die mit der Ausführung eines Laufs verbunden sind, finden Sie unter Läufe.

Kennzahlen¶

Bewertungskennzahlen sind Punktzahlen, mit denen Sie die Leistung der generativen AI-Anwendung anhand Ihrer eigenen Kriterien bewerten können. Diese Kennzahlen verwenden LLMs, um Ergebnisse zu bewerten und detaillierte Informationen zur Bewertung zu liefern. Eine umfassende Liste der Kennzahlen und ihrer Definitionen finden Sie unter Bewertungskennzahlen.

Ablaufverfolgungen¶

Ablaufverfolgungen sind umfassende Aufzeichnungen, die die Eingaben, Ausgaben und Zwischenschritte der Interaktionen mit einer LLM-Anwendung erfassen. Ablaufverfolgungen bieten einen detaillierten Überblick über die Ausführung der Anwendung. Verwenden Sie Ablaufverfolgungen, um die Verhaltensweise des Modells in jedem Stagingbereich zu analysieren und zu verstehen. Sie können die Ablaufverfolgung verschiedener Anwendungsversionen vergleichen, um Verbesserungen zu erkennen, Probleme zu beheben und die beabsichtigte Leistung zu überprüfen. Informationen zum Zugriff auf Ablaufverfolgungen, die mit jedem Datensatz verbunden sind, finden Sie unter AI-Anwendungen bewerten.