Kategorien:: Tabellenfunktionen (Cortex Agents)

GET_AI_EVALUATION_DATA (SNOWFLAKE.LOCAL)¶

Retrieves evaluation data for a run for a Cortex Agent or for an External Agent application (see Befehle für externe Agenten).

Call this function to inspect all recorded traces for an evaluation run. For more information on Cortex Agent evaluations, see Cortex Agent-Evaluierungen. For AI Observability applications, see Observability-Daten.

Siehe auch:: EXECUTE_AI_EVALUATION , GET_AI_RECORD_TRACE (SNOWFLAKE.LOCAL) , GET_AI_OBSERVABILITY_LOGS (SNOWFLAKE.LOCAL) , GET_AI_OBSERVABILITY_EVENTS (SNOWFLAKE.LOCAL)

Syntax¶

SNOWFLAKE.LOCAL.GET_AI_EVALUATION_DATA( <database> , <schema> , <agent_name> , <agent_type>, <run_name> )

Argumente¶

database: Name der Datenbank, die den Agenten enthält.
schema: Name des Schemas, das den Agenten enthält.
agent_name: Name des Agenten, für den ein Datensatz abgerufen werden soll.
agent_type: The agent type string. Use CORTEX AGENT for a Cortex Agent or EXTERNAL AGENT for an External Agent object. This value is case-insensitive.
run_name: Name der Ausführung, für die die vollständigen Bewertungsdaten abgerufen werden sollen.

Rückgabewerte¶

Eine Tabelle mit Informationen für die angegebene Bewertung mit den folgenden Spalten:


Spalte	Datentyp	Beschreibung
RECORD_ID	VARCHAR	Der von Snowflake zugewiesene eindeutige Bezeichner für diesen Bewertungsdatensatz.
INPUT_ID	VARCHAR	Der von Snowflake zugewiesene eindeutige Bezeichner für diese Bewertungseingabe.
REQUEST_ID	VARCHAR	Der von Snowflake zugewiesene eindeutige Bezeichner für diese Anforderung.
TIMESTAMP	TIMESTAMP_TZ	Die Uhrzeit (in UTC), zu der die Anforderung gestellt wurde.
DURATION_MS	INT	Die Zeit in Millisekunden, die der Agent benötigte, um eine Antwort zurückzugeben.
INPUT	VARCHAR	Die Abfragezeichenfolge, die als Eingabe für diesen Bewertungsdatensatz verwendet wurde.
OUTPUT	VARCHAR	Die vom Cortex Agent für diesen Bewertungsdatensatz zurückgegebene Antwort.
ERROR	VARCHAR	Informationen über Fehler, die während der Anforderung aufgetreten sind.
GROUND_TRUTH	VARCHAR	The ground truth information used to evaluate this record’s Cortex Agent output. This column holds the JSON from your dataset’s ground truth column, serialized as a string. For how `{{ground_truth}}` in custom metrics relates to this value, see the notes under Format der Tabelle mit den Evaluierungsergebnissen.
METRIC_NAME	VARCHAR	Der Name der für diesen Datensatz bewerteten Kennzahl.
EVAL_AGG_SCORE	NUMBER	Die für diesen Datensatz zugewiesene Bewertungskennzahl.
METRIC_TYPE	VARCHAR	Der Typ der zu bewertenden Kennzahl. Für integrierte Kennzahlen ist der Wert `system`. Für kundenspezifische Kennzahlen ist der Wert `custom`.
METRIC_STATUS	VARIANT	Eine Zuordnung mit Informationen über die HTTP-Antwort des Agenten für diesen Datensatz mit den folgenden Schlüsseln: `status`: Der HTTP-Statuscode der Antwort. `message`: Die HTTP-Meldung, die in der Statusantwort gesendet wird.
METRIC_CALLS	ARRAY	Ein Array von VARIANT-Werten, die Informationen über die berechnete Kennzahl enthalten. Jeder Array-Eintrag enthält die Kriterien der Kennzahl, eine Erklärung der Kennzahl-Bewertung und Metadaten. Die Schlüssel der einzelnen Einträge sind: `criteria`: Die von einem LLM-Beurteilenden verwendeten Kriterien, um die Korrektheit der Antwort zu bewerten. `explanation`: Eine Erklärung, warum die Punktzahl vergeben wurde. `full_metadata`: Ein VARIANT-Wert, der Metadaten und Informationen über die Verarbeitung dieser Kennzahl durch den LLM-Beurteilenden enthält. Die Schlüssel dieser Zuordnung umfassen: `completion_tokens`: Die Anzahl der vom LLM generierten Ausgabe-Token für diesen Aufruf der Kennzahlbewertung. `normalized_score`: Die ursprüngliche Bewertungskennzahl, der auf den Bereich [0,0, 1,0] normalisiert und auf zwei Dezimalstellen gerundet wurde. `original_score`: Die ursprüngliche Punktzahl, die durch diese Bewertung der Kennzahl für den Datensatz zugewiesen wurde. `prompt_tokens`: Die Anzahl der Token, die von der Eingabeaufforderung aufgenommen und dem LLM-Beurteilenden bereitgestellt wurden. `total_tokens`: Die Gesamtzahl der vom LLM-Beurteilenden verwendeten Token für diese Berechnung.
TOTAL_INPUT_TOKENS	INT	Die Gesamtzahl der Token, die zur Verarbeitung der Eingabeabfrage verwendet wurden.
TOTAL_OUTPUT_TOKENS	INT	Die Gesamtzahl der vom Cortex Agent erzeugten Ausgabe-Token.
LLM_CALL_COUNT	INT	Zählt, wie oft LLM aufgerufen wurde, entweder vom Agenten oder einem Beurteilenden für die Bewertung.

Anforderungen an die Zugriffssteuerung¶

Eine Rolle, die zur Ausführung dieser Operation verwendet wird, muss mindestens die folgenden Berechtigungen haben:


Berechtigung	Objekt	Anmerkungen
CORTEX_USER	Datenbankrolle
USAGE	Cortex Agent or External Agent	Required on the object identified by `agent_name`. For `EXTERNAL AGENT`, USAGE on the External Agent is sufficient to call this function (MONITOR does not apply).
MONITOR	Cortex Agent	Required on the Cortex Agent identified by `agent_name` when `agent_type` is `CORTEX AGENT`. Does not apply when `agent_type` is `EXTERNAL AGENT`.

Für das Ausführen von Operationen für ein Objekt in einem Schema ist mindestens eine Berechtigung für die übergeordnete Datenbank und mindestens eine Berechtigung für das übergeordnete Schema erforderlich.

Eine Anleitung zum Erstellen einer kundenspezifischen Rolle mit einer bestimmten Gruppe von Berechtigungen finden Sie unter Erstellen von kundenspezifischen Rollen.

Allgemeine Informationen zu Rollen und Berechtigungen zur Durchführung von SQL-Aktionen auf sicherungsfähigen Objekten finden Sie unter Übersicht zur Zugriffssteuerung.

When agent_type is EXTERNAL AGENT, only USAGE on that object is required to call this function. OWNERSHIP on the External Agent is required to modify or remove the object with ALTER EXTERNAL AGENT or DROP EXTERNAL AGENT.

For the full access control permissions required by Cortex Agent evaluations, see Cortex Agent evaluations – Access control requirements. For External Agent objects, see Observability-Daten.

Beispiele¶

Das folgende Beispiel zeigt die vollständigen Bewertungsdetails für eine Ausführung namens run-1 an, wobei der Agent evaluated_agent heißt, der im Schema eval_db.eval_schema gespeichert ist:

SELECT * FROM TABLE(SNOWFLAKE.LOCAL.GET_AI_EVALUATION_DATA(
  'eval_db',
  'eval_schema',
  'evaluated_agent',
  'CORTEX AGENT',
  'run-1')
);