カテゴリ：

システム関数 （制御）

SYSTEM$CREATE_EVALUATION_DATASET

既存のテーブルから Cortex Agentの評価 のためのSnowflake データセット を作成します。新しいデータセットは、データセット名引数で指定されたものと同じデータベースとスキーマに登録されます。

SQL （例: Cortexエージェント評価の利用を開始する ガイドに沿って行う）で評価データセットを作成する場合に、この関数を使用します。代わりに、評価を開始するとき、または評価の YAML ファイルで dataset ブロック定義するときに、 Snowsight のテーブルからデータセットを作成することができます。評価データのテーブルと列の要件については、 データセットの形式 をご参照ください。

こちらもご参照ください。

EXECUTE_AI_EVALUATION、 GET_AI_EVALUATION_DATA (SNOWFLAKE.LOCAL)

構文

CALL SYSTEM$CREATE_EVALUATION_DATASET(
  '<agent_dataset_type>' ,
  '<source_table_name>' ,
  '<dataset_name>' ,
  <column_mapping>
);

引数

'agent_dataset_type'

Cortex Agent評価に関するデータセットタイプ。文字列 Cortex Agent を使用します。この値では大文字と小文字が区別されません。

'source_table_name'

評価入力とグラウンドトゥルースの列を含むソーステーブルの完全修飾名（例: MY_DB.MY_SCHEMA.MY_EVAL_TABLE）。

'dataset_name'

Snowflakeが作成するデータセットの完全修飾名（例: MY_DB.MY_SCHEMA.MY_EVAL_DATASET）。データセットは、指定したデータベースとスキーマに作成されます。

column_mapping

評価フィールドをソース列名にマッピングする SQL OBJECT。次の対象が含まれます。

  • query_text:入力クエリを含む列の名前（VARCHAR）。

  • ground_truth:各行のグラウンドトゥルース JSON を含む VARIANT 列の名前。

このオブジェクトのキーは、エージェント評価 YAML 仕様 の dataset セクションにある column_mapping キーに対応します。

戻り値

データセットが正常に作成されたかどうかを示す文字列メッセージ。

アクセス制御の要件

データセットが作成されるスキーマの CREATE DATASET ON SCHEMA を含む入力テーブル <label-agent_evaluation_access_control>` からデータセットを作成するための :ref:` 権限が必要です。

例

次の例では、クエリ列として INPUT_QUERY を使用し、グラウンドトゥルース列として GROUND_TRUTH_DATA を使用して、MARKETING_CAMPAIGNS_DB.AGENTS.EVALS_TABLE テーブルからデータセット MARKETING_CAMPAIGNS_DB.AGENTS.MARKETING_CAMPAIGN_EVALSET を作成しています。

CALL SYSTEM$CREATE_EVALUATION_DATASET(
  'Cortex Agent',
  'MARKETING_CAMPAIGNS_DB.AGENTS.EVALS_TABLE',
  'MARKETING_CAMPAIGNS_DB.AGENTS.MARKETING_CAMPAIGN_EVALSET',
  OBJECT_CONSTRUCT(
    'query_text', 'INPUT_QUERY',
    'ground_truth', 'GROUND_TRUTH_DATA'
  )
);

データセットが存在することを確認します。

SHOW DATASETS IN SCHEMA MARKETING_CAMPAIGNS_DB.AGENTS;