Kategorien:: Systemfunktionen (Steuerung)

EXECUTE_AI_EVALUATION¶

Startet oder ruft den Status eines Cortex Agent-Evaluierungslaufs ab.

Weitere Informationen zu Cortex Agent-Evaluierungen finden Sie unter Cortex Agent-Evaluierungen.

Siehe auch:: GET_AI_RECORD_TRACE (SNOWFLAKE.LOCAL), GET_AI_EVALUATION_DATA (SNOWFLAKE.LOCAL), GET_AI_OBSERVABILITY_LOGS (SNOWFLAKE.LOCAL)

Syntax¶

EXECUTE_AI_EVALUATION( <evaluation_job> , <run_parameters> , <config_file_path> )

Argumente¶

evaluation_job

Einer der folgenden Werte:

‚START‘: Startet eine Evaluierung

‚STATUS‘: Ruft den Evaluierungsstatus ab

run_parameters

Ein SQL OBJECT-Wert, der den folgenden Schlüssel enthält:

run_name: Der Name der Ausführung, mit der die Operation evaluation_job ausgeführt wird.

config_file_path

Ein Stagingdatei-Pfad, der auf eine Agenten-Evaluierungskonfiguration verweist. Dieser Pfad kann keine signierte URL sein. Informationen zur vollständigen YAML-Spezifikation der Konfiguration finden Sie unter YAML-Spezifikation der Agentenevaluierung.

Rückgabewerte¶

Der Rückgabewert dieser Funktion hängt vom evaluation_job-Wert ab:

‚START‘ gibt eine einzelne Zeichenfolgenmeldung zurück, die angibt, ob die SQL-Ausführung erfolgreich oder fehlgeschlagen ist.

‚STATUS‘ gibt eine Tabelle mit Informationen zum aktuellen Status des Evaluierungslaufs zurück.

Die vom ‚STATUS‘-Evaluierungslauf zurückgegebene Tabelle enthält die folgenden Spalten:


Name	Typ	Beschreibung
RUN_NAME	VARCHAR	Der Name des Evaluierungslaufs.
AGENT_NAME	VARCHAR	Der (unqualifizierte) Name des zu evaluierenden Agenten.
AGENT_TYPE	VARCHAR	Der Typ des zu evaluierenden Agenten.
STATUS	VARCHAR	Der aktuelle Status des Evaluierungslaufs.
STATUS_DETAILS	ARRAY	Ein Array von Fehlermeldungen, die während dieser Ausführung aufgetreten sind.

Werte in der STATUS-Spalte sind einer der folgenden:

Status Ausführen¶
Status	Beschreibung
CREATED	Der Lauf wurde erstellt, aber nicht gestartet.
INVOCATION_IN_PROGRESS	Der Laufaufruf ist gerade dabei, die Ausgabe und die Ablaufverfolgung zu erzeugen.
INVOCATION_COMPLETED	Der Laufaufruf wurde mit allen Ausgaben und Ablaufverfolgungen abgeschlossen.
INVOCATION_PARTIALLY_COMPLETED	Der Laufaufruf ist aufgrund von Fehlern beim Anwendungsaufruf und bei der Ablaufverfolgung teilweise abgeschlossen.
COMPUTATION_IN_PROGRESS	Die Berechnung der Metrik ist im Gange.
COMPLETED	Die Berechnung der Metrik wird mit detaillierten Ausgaben und Ablaufverfolgungen abgeschlossen.
PARTIALLY_COMPLETED	Der Lauf wird aufgrund von Fehlern bei der Berechnung der Metrik teilweise abgeschlossen.
CANCELLED	Der Lauf wurde storniert.

Anforderungen an die Zugriffssteuerung¶

Die Anforderungen an die vollständige Zugriffskontrolle für die Durchführung einer Cortex Agent-Evaluierung finden Sie unter:ref:` Cortex Agent-Evaluierungen – Anforderungen an die Zugriffssteuerung<label-agent_evaluation_access_control>`.

Beispiele¶

Im folgenden Beispiel wird eine Ausführung namens run-1 unter Verwendung der Konfiguration der Agenten-Evaluierung von``@eval_db.eval_schema.metrics/agent_evaluation_config.yaml`` gestartet:

CALL EXECUTE_AI_EVALUATION(
  'START',
  OBJECT_CONSTRUCT('run_name', 'run-1'),
  '@eval_db.eval_schema.metrics/agent_evaluation_config.yaml'
);

Im folgenden Beispiel wird der Status des Evaluierungslaufs run-1 unter Verwendung der Agentenkonfiguration von @eval_db.eval_schema.metrics/agent_evaluation_config.yaml abgefragt:

CALL EXECUTE_AI_EVALUATION(
  'STATUS',
  OBJECT_CONSTRUCT('run_name', 'run-1'),
  '@eval_db.eval_schema.metrics/agent_evaluation_config.yaml'
);