Kategorien:: Systemfunktionen (Steuerung)

SYSTEM$CREATE_EVALUATION_DATASET¶

Erstellt ein Snowflake Datenset für Cortex Agent-Evaluierungen aus einer bestehenden Tabelle. Das neue Datenset wird in derselben Datenbank und mit demselben Schema registriert, die im dataset name-Argument angegeben sind.

Verwenden Sie diese Funktion, wenn Sie ein Evaluierungs-Datenset mit SQL erstellen möchten (z. B. gemäß dem Leitfaden `Erste Schritte mit Cortex Agent Evaluations<https://www.snowflake.com/en/developers/guides/getting-started-with-cortex-agent-evaluations/>`__). Sie können stattdessen ein Datenset aus einer Tabelle im Snowsight erstellen, wenn Sie eine Evaluierung starten möchten, oder einen dataset-Block in Ihrer Evaluierungs-YAML-Datei definieren. Die Anforderungen an Tabellen und Spalten für Evaluierungsdaten finden Sie unter Datenset-Format.

Siehe auch:: EXECUTE_AI_EVALUATION, GET_AI_EVALUATION_DATA (SNOWFLAKE.LOCAL)

Syntax¶

CALL SYSTEM$CREATE_EVALUATION_DATASET(
  '<agent_dataset_type>' ,
  '<source_table_name>' ,
  '<dataset_name>' ,
  <column_mapping>
);

Argumente¶

'agent_dataset_type'

Der Datenset-Typ für Cortex Agent-Evaluierungen. Verwenden Sie die Zeichenfolge Cortex Agent. Dieser Wert unterscheidet nicht zwischen Groß- und Kleinschreibung.

'source_table_name'

Der vollqualifizierte Name der Quelltabelle, die Evaluierungseingaben und Ground-Truth-Spalten enthält (z. B. MY_DB.MY_SCHEMA.MY_EVAL_TABLE).

'dataset_name'

Der vollqualifizierte Name für das von Snowflake erstellte Datenset (z. B. MY_DB.MY_SCHEMA.MY_EVAL_DATASET). Das Datenset wird in der von Ihnen angegebenen Datenbank und dem angegebenen Schema erstellt.

column_mapping

Ein SQL-OBJECT, das Evaluierungsfelder den Namen der Quellspalten zuordnet. Include:

query_text: Der Name der Spalte, die die Eingabeabfrage enthält (VARCHAR).
ground_truth: Der Name der VARIANT-Spalte, welche die grundlegende Wahrheit (Ground Truth) JSON für jede Zeile enthält.

Die Schlüssel in diesem Objekt entsprechen dem column_mapping-Schlüssel im dataset-Abschnitt der YAML-Spezifikation der Agentenevaluierung.

Rückgabewerte¶

Eine Zeichenfolgenmeldung, die angibt, ob das Datenset erfolgreich erstellt wurde.

Anforderungen an die Zugriffssteuerung¶

Sie benötigen Berechtigungen zum Erstellen eines Datensets aus einer Eingabetabelle, einschließlich CREATE DATASET ON SCHEMA für das Schema, in dem das Datenset erstellt wurde.

Beispiele¶

Im folgenden Beispiel wird das Datenset MARKETING_CAMPAIGNS_DB.AGENTS.MARKETING_CAMPAIGN_EVALSET aus der Tabelle MARKETING_CAMPAIGNS_DB.AGENTS.EVALS_TABLE mit INPUT_QUERY als Abfragespalte und GROUND_TRUTH_DATA als Ground-Truth-Spalte erstellt:

CALL SYSTEM$CREATE_EVALUATION_DATASET(
  'Cortex Agent',
  'MARKETING_CAMPAIGNS_DB.AGENTS.EVALS_TABLE',
  'MARKETING_CAMPAIGNS_DB.AGENTS.MARKETING_CAMPAIGN_EVALSET',
  OBJECT_CONSTRUCT(
    'query_text', 'INPUT_QUERY',
    'ground_truth', 'GROUND_TRUTH_DATA'
  )
);

Prüfen Sie, ob das Datenset vorhanden ist:

SHOW DATASETS IN SCHEMA MARKETING_CAMPAIGNS_DB.AGENTS;