2026년 3월 13일: Cortex Agent 평가(일반 공급)¶

이제 Snowflake는 에이전트의 동작과 성능을 모니터링할 수 있는 Cortex Agent 평가를 제공합니다. 기준값 기반 및 참조 없는 평가 메트릭 모두에 대해 에이전트를 평가합니다. 평가하는 동안 에이전트의 활동이 추적되고 모니터링되므로 프로세스의 각 단계가 최종 목표를 향해 진행되는지 확인할 수 있습니다.

Snowflake는 에이전트를 평가할 수 있는 다음과 같은 메트릭을 제공합니다.

• 답변 정확성 – 준비된 쿼리에 대한 에이전트의 답변이 예상 답변과 얼마나 일치하는지입니다. 이 메트릭은 Cortex Agent를 구동하는 데이터 세트가 정적일 때 가장 유용합니다.

• 논리적 일관성 – 에이전트 지침, 계획 및 도구 호출 전반에 걸쳐 일관성을 측정합니다. 이 메트릭은 참조 없는 메트릭입니다. 즉, 평가를 위해 데이터 세트의 정보를 준비할 필요가 없습니다.

• 사용자 지정 메트릭 – Snowflake를 통해 사용자 지정 메트릭을 생성할 수도 있습니다. 프롬프트 및 채점 시스템을 정의하여 LLM 판단 프로세스를 활용해 추가적인 일관성 확인 또는 도메인별 요구 사항 준수를 수행할 수 있습니다.

Cortex Agent 평가를 생성하고 실행하는 방법에 대한 자세한 내용은 Cortex Agent 평가 섹션을 참조하세요.