카테고리:

시스템 함수 (제어)

EXECUTE_AI_EVALUATION

Cortex Agent 평가 실행을 시작하거나 상태를 확인합니다.

Cortex Agent 평가에 대한 자세한 내용은 Cortex Agent 평가 섹션을 참조하세요.

참고 항목:

GET_AI_RECORD_TRACE (SNOWFLAKE.LOCAL) , GET_AI_EVALUATION_DATA (SNOWFLAKE.LOCAL) , GET_AI_OBSERVABILITY_LOGS (SNOWFLAKE.LOCAL)

구문

EXECUTE_AI_EVALUATION( <evaluation_job> , <run_parameters> , <config_file_path> )

인자

evaluation_job

다음 값 중 하나입니다.

  • ‘START’: 평가 시작

  • ‘STATUS’: 평가의 상태 검색

run_parameters

다음 키가 포함된 SQL :ref:` OBJECT <label-data_type_object>` 값입니다.

  • run_name: evaluation_job 작업을 수행할 실행의 이름입니다.

config_file_path

에이전트 평가 구성을 가리키는 스테이지 파일 경로입니다. 이 경로는 서명된 URL일 수 없습니다. 전체 구성 YAML 사양의 경우 에이전트 평가 YAML 사양 섹션을 참조하세요.

반환

이 함수의 반환 값은 :samp:`{evaluation_job}`에 따라 다릅니다.

  • ‘START’는 SQL 실행 성공 또는 실패 여부를 나타내는 단일 문자열 메시지를 반환합니다.

  • ‘STATUS’는 평가 실행의 현재 상태에 대한 정보가 포함된 테이블을 반환합니다.

‘STATUS’ 평가 작업에 의해 반환된 테이블에는 다음 열이 있습니다.

이름

타입

설명

RUN_NAME

VARCHAR

평가 실행의 이름입니다.

AGENT_NAME

VARCHAR

평가 중인 에이전트의 (정규화되지 않은) 이름입니다.

AGENT_TYPE

VARCHAR

평가 중인 에이전트의 유형입니다.

STATUS

VARCHAR

평가 실행의 현재 상태입니다.

STATUS_DETAILS

ARRAY

이 실행 중에 발생한 오류 메시지의 배열입니다.

STATUS 열의 값은 다음 중 하나입니다.

실행 상태

상태

설명

CREATED

실행이 생성되었지만 시작되지 않았습니다.

INVOCATION_IN_PROGRESS

실행 호출은 출력과 추적을 생성하는 중입니다.

INVOCATION_COMPLETED

모든 출력과 추적이 생성된 상태에서 실행 호출이 완료되었습니다.

INVOCATION_PARTIALLY_COMPLETED

애플리케이션 호출 및 추적 생성에 실패하여 실행 호출이 부분적으로 완료되었습니다.

COMPUTATION_IN_PROGRESS

메트릭 계산이 진행 중입니다.

COMPLETED

메트릭 계산은 상세한 출력과 추적을 통해 완료됩니다.

PARTIALLY_COMPLETED

메트릭 계산 중 오류로 인해 실행이 부분적으로 완료되었습니다.

CANCELLED

실행이 취소되었습니다.

액세스 제어 요구 사항

Cortex Agent 평가를 수행하기 위한 전체 액세스 제어 요구 사항은 :ref:`Cortex Agent 평가판 – 액세스 제어 요구 사항 <label-agent_evaluation_access_control>`을 참조하세요.

다음 예제에서는 ``@eval_db.eval_schema.metrics/agent_evaluation_config.yaml``의 에이전트 평가 구성을 사용하여 ``run-1``이라는 실행을 시작합니다.

CALL EXECUTE_AI_EVALUATION(
  'START',
  OBJECT_CONSTRUCT('run_name', 'run-1'),
  '@eval_db.eval_schema.metrics/agent_evaluation_config.yaml'
);

다음 예제에서는 ``@eval_db.eval_schema.metrics/agent_evaluation_config.yaml``의 에이전트 구성을 사용하여 평가 실행 ``run-1``의 상태를 쿼리합니다.

CALL EXECUTE_AI_EVALUATION(
  'STATUS',
  OBJECT_CONSTRUCT('run_name', 'run-1'),
  '@eval_db.eval_schema.metrics/agent_evaluation_config.yaml'
);