Snowflake-Referenz für AI-Observability¶

Kontextrelevanz¶

Die Kontextrelevanz bestimmt, ob der vom Retriever oder dem Suchdienst abgerufene Kontext für die Abfrage des Benutzers relevant ist. Angesichts der Abfrage des Benutzers und des abgerufenen Kontexts wird ein LLM-Richter verwendet, um die Relevanz des abgerufenen Kontexts auf der Grundlage der Abfrage zu bestimmen.

Erforderliche Attribute:

• RETRIEVAL.QUERY_TEXT: Abfrage eines Benutzers in einer RAG- oder Suchanwendung

• RETRIEVAL.RETRIEVED_CONTEXTS: Vom Suchdienst oder Retriever abgerufener Kontext

Fundiertheit¶

Die Fundiertheit bestimmt, ob die generierte Antwort durch den abgerufenen Kontext des Retrievers oder des Suchdienstes unterstützt wird und darin verankert ist. Angesichts der generierten Antwort und des abgerufenen Kontexts wird ein LLM-Richter eingesetzt, um die Fundiertheit zu bestimmen. Die zugrunde liegende Implementierung verwendet die Gedankenkette bei der Generierung der Fundiertheit-Punktzahl.

Erforderliche Attribute:

• RETRIEVAL.RETRIEVED_CONTEXTS: Abfrage eines Benutzers in einer RAG- oder Suchanwendung

• RECORD_ROOT.OUTPUT: Die endgültige Antwort, die vom LLM generiert wird

Antwortrelevanz¶

Die Antwortrelevanz bestimmt, ob die generierte Antwort für die Abfrage des Benutzers relevant ist. Anhand der Abfrage des Benutzers und der generierten Antwort wird mit Hilfe eines LLM-Richters bestimmt, wie relevant die Antwort für die Beantwortung der Abfrage des Benutzers ist. Beachten Sie, dass dies nicht auf der Referenz der Ground Truth beruht und daher nicht gleichbedeutend mit der Bewertung der Korrektheit der Antwort ist.

Erforderliche Attribute:

• RECORD_ROOT.INPUT: Abfrage eines Benutzers in einer RAG- oder Suchanwendung

• RECORD_ROOT.OUTPUT: Die endgültige Antwort, die vom LLM generiert wird

Korrektheit¶

Die Korrektheit bestimmt, wie sehr die generierte Antwort mit der Ground Truth übereinstimmt. Eine höhere Korrektheit-Punktzahl bedeutet eine genauere Antwort mit einer größeren Übereinstimmung mit der Ground Truth.

Erforderliche Attribute:

• RECORD_ROOT.INPUT: Abfrage oder Eingabeaufforderung des Benutzers an das LLM

• RECORD_ROOT.GROUND_TRUTH_OUTPUT: Erwartete Antwort basierend auf der Abfrage des Benutzers

• RECORD_ROOT.OUTPUT: Antwort, die vom LLM generiert wird

Kohärenz¶

Die Kohärenz misst, ob die generierte Antwort des Modells kohärent ist und keine logischen Lücken, Ungereimtheiten oder Widersprüche enthält. Eine höhere Kohärenz-Punktzahl bedeutet eine sehr kohärente Antwort.

Erforderliche Attribute:

• RECORD_ROOT.OUTPUT: Antwort, die vom LLM generiert wird

Kosten und Latenzzeit¶

Erforderliche Berechtigungen¶

Sie benötigen die folgenden Berechtigungen, um AI-Observability zu verwenden.

• Um AI-Observability zu verwenden, muss Ihre Rolle die Datenbankrolle CORTEX_USER haben. Die Rolle CORTEX_USER ist für Datenbankfunktionen erforderlich. Informationen zum Gewähren und Entziehen dieser Rolle finden Sie unter Erforderliche Berechtigungen.

• Um eine Anwendung zu registrieren, muss Ihre Rolle über die Berechtigung CREATE EXTERNAL AGENT für das Schema verfügen. Weitere Informationen dazu finden Sie unter Anwendungen.

• Um Läufe zu erstellen und auszuführen, muss Ihre Rolle über die Berechtigung USAGE für das für die Anwendung erstellte Objekt EXTERNAL AGENT und die Anwendungsrolle AI_OBSERVABILITY_EVENTS_LOOKUP oder AI_OBSERVABILITY_ADMIN verfügen. Weitere Informationen dazu finden Sie unter Läufe und Observability-Daten.

Das folgende Beispiel verwendet die Rolle ACCOUNTADMIN, um dem Benutzer some_user folgende Rechte zu gewähren:

• Die Datenbankrolle CORTEX_USER

• Die Anwendungsrolle AI_OBSERVABILITY_EVENTS_LOOKUP

• Die Berechtigung CREATEEXTERNALAGENT für das Schema app_schema

USE ROLE ACCOUNTADMIN;

CREATE ROLE observability_user_role;

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE observability_user_role;

GRANT APPLICATION ROLE SNOWFLAKE.AI_OBSERVABILITY_EVENTS_LOOKUP TO ROLE observability_user_role;

GRANT CREATE EXTERNAL AGENT ON SCHEMA app_schema TO ROLE observability_user_role;

GRANT ROLE observability_user_role TO USER some_user;

Im vorangegangenen Beispiel wurde die Rolle observability_user_role verwendet, um die Berechtigungen für some_user zu erteilen.

Anwendungen¶

Wenn Sie eine Anwendung zur Evaluierung erstellen, wird ein EXTERNAL AGENT-Objekt erstellt, das die Anwendung in Snowflake darstellt. Die Rolle, die zum Erstellen und Ändern einer Anwendung erforderlich ist, muss die folgenden Anforderungen an die Zugriffssteuerung erfüllen.

Eine Rolle, mit der Sie eine Anwendung erstellen, muss mindestens die folgenden Berechtigungen haben:

USAGE-Berechtigung für die übergeordnete Datenbank und das Schema ist erforderlich, um Operationen an einem beliebigen Objekt in einem Schema durchzuführen.

Das Ändern und Löschen der Anwendung erfordert die Berechtigung OWNERSHIP für das Objekt EXTERNAL AGENT.

Wenn die Rolle eines Benutzers USAGE- oder OWNERSHIP- Berechtigungen für eine Anwendung (EXTERNAL AGENT) hat, erscheint die Anwendung in Evaluations unter AI & ML in Snowsight.

Läufe¶

Eine Rolle, die zum Hinzufügen, Ändern oder Löschen eines Laufs zu einer Anwendung verwendet wird, muss über die Berechtigung USAGE für das Objekt EXTERNAL AGENT verfügen, das die Anwendung in Snowflake darstellt.

Beim Löschen eines Laufs werden die mit dem Lauf verbundenen Metadaten gelöscht. Die im Rahmen des Laufs erstellten Datensätze werden nicht gelöscht und bleiben gespeichert. Weitere Informationen zur Speicherung der Aufzeichnungen und Ablaufverfolgung finden Sie unter Observability-Daten.

Anweisungen zum Erstellen einer kundenspezifischen Rolle mit einer bestimmten Anzahl von Berechtigungen finden Sie unter Erstellen von kundenspezifischen Rollen. Allgemeine Informationen zu Rollen und Berechtigungen zur Durchführung von SQL-Aktionen auf sicherungsfähigen Elementen finden Sie unter Übersicht zur Zugriffssteuerung.

LLMs als Richter¶

AI-Observability verwendet Cortex LLMs als Richter, um die Metriken für die Bewertung Ihrer Anwendungen zu berechnen. Um diese Metriken erfolgreich berechnen zu können, benötigen Sie Berechtigungen für den Zugriff auf Cortex-LLMs. Um Benutzerrollen Zugriff auf Cortex-LLMs zu gewähren, lesen Sie bitte die erforderlichen Berechtigungen. Der Benutzer muss Zugriff auf das Modell haben, das als LLM-Richter konfiguriert ist. Das Standardmodell für LLM-Richter ist llama3.1-70b. Das Standard LLM-Richtermodell kann sich in Zukunft noch ändern.

Observability-Daten¶

AI-Observability-Daten sind Datensätze, die Eingaben, Ausgaben, Bewertungsergebnisse und zugehörige Ablaufverfolgungen für Ihre generativen AI-Anwendungen enthalten. Alle Datensätze werden in einer speziellen Ereignistabelle AI_OBSERVABILITY_EVENTS in Ihrem Konto unter dem Schema SNOWFLAKE.LOCAL gespeichert.

Die in die Ereignistabelle aufgenommenen AI-Observability-Daten können nicht geändert werden. Administratoren mit der Anwendungsrolle AI_OBSERVABILITY_ADMIN haben exklusiven Zugriff auf das Löschen der Daten in der Ereignistabelle SNOWFLAKE.LOCAL.AI_OBSERVABILITY_EVENTS.

Auf die AI-Observability-Daten kann mit dem Trulens Python-SDK oder mit Snowsight zugegriffen werden. Die folgenden Berechtigungen sind erforderlich, um die Datensätze für eine Anwendung und die zugehörigen Läufe anzuzeigen:

• Die Rolle des Benutzers muss die Anwendungsrolle SNOWFLAKE.AI_OBSERVABILITY_ADMIN oder SNOWFLAKE.AI_OBSERVABILITY_EVENTS_LOOKUP haben

• Die Benutzerrolle muss über die Berechtigung USAGE für das Objekt EXTERNAL AGENT verfügen, das die Anwendung darstellt.

Um beispielsweise die Läufe für eine extern instrumentierte RAG-Anwendung anzuzeigen, benötigt die Benutzerrolle die Berechtigung USAGE auf „my-db.my-schema.rag-application1“, wobei rag-application1 das EXTERNAL AGENT-Objekt ist, das die externe RAG-Anwendung in Snowflake darstellt.

Die mit Läufen und externen Agenten verbundenen Metadaten (wie Laufname, Beschreibung, Datensatzname usw.) werden als Metadaten klassifiziert.