カテゴリ：: :doc:`/sql-reference/functions-table`（Cortex Agents）

GET_AI_EVALUATION_DATA (SNOWFLAKE.LOCAL)¶

Retrieves evaluation data for a run for a Cortex Agent or for an External Agent application (see 外部エージェントコマンド).

Call this function to inspect all recorded traces for an evaluation run. For more information on Cortex Agent evaluations, see Cortex Agentの評価. For AI Observability applications, see 観測可能データ.

こちらもご参照ください。: EXECUTE_AI_EVALUATION , GET_AI_RECORD_TRACE (SNOWFLAKE.LOCAL) , GET_AI_OBSERVABILITY_LOGS (SNOWFLAKE.LOCAL) , GET_AI_OBSERVABILITY_EVENTS (SNOWFLAKE.LOCAL)

構文¶

SNOWFLAKE.LOCAL.GET_AI_EVALUATION_DATA( <database> , <schema> , <agent_name> , <agent_type>, <run_name> )

引数¶

database: エージェントが含まれるデータベースの名前。
schema: エージェントが含まれるスキーマの名前。
agent_name: 記録を取得するエージェントの名前。
agent_type: The agent type string. Use CORTEX AGENT for a Cortex Agent or EXTERNAL AGENT for an External Agent object. This value is case-insensitive.
run_name: 完全な評価データを取得する実行の名前。

戻り値¶

指定した評価に関する情報を含むテーブル。以下の列があります。


列	データ型	説明
RECORD_ID	VARCHAR	この評価記録に対してSnowflakeによって割り当てられた一意の識別子。
INPUT_ID	VARCHAR	この評価入力に対してSnowflakeによって割り当てられた一意の識別子。
REQUEST_ID	VARCHAR	このリクエストに対してSnowflakeによって割り当てられた一意の識別子。
TIMESTAMP	TIMESTAMP_TZ	リクエストが実行された時間（UTC）。
DURATION_MS	INT	エージェントが応答を返すまでにかかった時間（ミリ秒単位）。
INPUT	VARCHAR	この評価記録の入力として使用されたクエリ文字列。
OUTPUT	VARCHAR	この評価記録に対してCortex Agentが返した応答。
ERROR	VARCHAR	リクエスト中に発生したエラーに関する情報。
GROUND_TRUTH	VARCHAR	The ground truth information used to evaluate this record's Cortex Agent output. This column holds the JSON from your dataset's ground truth column, serialized as a string. For how `{{ground_truth}}` in custom metrics relates to this value, see the notes under 評価結果のテーブル形式.
METRIC_NAME	VARCHAR	この記録で評価されたメトリックの名前。
EVAL_AGG_SCORE	NUMBER	この記録に割り当てられた評価スコア。
METRIC_TYPE	VARCHAR	評価対象のメトリックの型。組み込みメトリックの場合、値は``system``。カスタムメトリックの場合、値は``custom``。
METRIC_STATUS	VARIANT	この記録のエージェントのHTTP応答に関する情報を含むマップ。以下のキーがある。 `status`:応答のHTTPステータスコード。 `message`:ステータス応答で送信されたHTTPメッセージ。
METRIC_CALLS	ARRAY	計算されたメトリックに関する情報を含むVARIANT値の配列。各配列エントリには、メトリックの基準、メトリックスコアの説明、メタデータが含まれる。各エントリのキーは以下のとおり。 `criteria`:LLMジャッジが応答の正確性を評価するために使用する基準。 `explanation`:スコアが割り当てられた理由の説明。 `full_metadata`:このメトリックのLLMジャッジによる処理に関するメタデータと情報を含むVARIANT値。このマップのキーは以下のとおり。 `completion_tokens`:このメトリック評価呼び出しのためにLLMによって生成された出力トークン数。 `normalized_score`:元の評価スコアを範囲[0.0, 1.0]に正規化し、小数点以下2桁に四捨五入した値。 `original_score`:このメトリック評価で記録に割り当てられた元のスコア。 `prompt_tokens`:LLMジャッジに提供されたプロンプトによって消費されたトークン数。 `total_tokens`:この計算でLLMジャッジによって使用されたトークン総数。
TOTAL_INPUT_TOKENS	INT	入力クエリの処理に使用されたトークン総数。
TOTAL_OUTPUT_TOKENS	INT	Cortex Agentによって生成された出力トークンの総数。
LLM_CALL_COUNT	INT	エージェントと評価ジャッジのいずれかによってLLMが呼び出された回数の合計。

アクセス制御の要件¶

この操作の実行に使用されるロールには、少なくとも次の権限が必要です。


権限	オブジェクト	メモ
CORTEX_USER	データベースロール
USAGE	Cortex Agent or External Agent	Required on the object identified by `agent_name`. For `EXTERNAL AGENT`, USAGE on the External Agent is sufficient to call this function (MONITOR does not apply).
MONITOR	Cortex Agent	Required on the Cortex Agent identified by `agent_name` when `agent_type` is `CORTEX AGENT`. Does not apply when `agent_type` is `EXTERNAL AGENT`.

スキーマ内のオブジェクトを操作するには、親データベースの少なくとも1つの権限と、親スキーマの少なくとも1つの権限が必要です。

指定された権限のセットを使用してカスタムロールを作成する手順については、カスタムロールの作成をご参照ください。

セキュリティ保護可能なオブジェクトに対して SQL アクションを実行するためのロールと権限付与に関する一般的な情報については、アクセス制御の概要をご参照ください。

When agent_type is EXTERNAL AGENT, only USAGE on that object is required to call this function. OWNERSHIP on the External Agent is required to modify or remove the object with ALTER EXTERNAL AGENT or DROP EXTERNAL AGENT.

For the full access control permissions required by Cortex Agent evaluations, see Cortex Agent evaluations -- Access control requirements. For External Agent objects, see 観測可能データ.

例¶

次の例は、スキーマ``eval_db.eval_schema``に格納されている``evaluated_agent``という名前のエージェントについて、``run-1``という実行の完全な評価詳細を表示します。

SELECT * FROM TABLE(SNOWFLAKE.LOCAL.GET_AI_EVALUATION_DATA(
  'eval_db',
  'eval_schema',
  'evaluated_agent',
  'CORTEX AGENT',
  'run-1')
);