EvaluateRagRetrieval 2025.5.31.15¶

번들¶

com.snowflake.openflow.runtime | runtime-rag-evaluation-processors-nar

설명¶

LLM 을 판단 기준으로 사용하여 RAG 시스템에 대한 검색 메트릭(Precision@N, Recall@N, FScore@N, MAP@N, MRR)을 계산합니다. 각 레코드에 대해 Precision 및 Recall 프롬프트를 모두 사용하여 응답을 평가하고 메트릭을 FlowFile 에 특성으로 추가합니다.

태그¶

evaluation, fscore, llm, metrics, mrr, openai, openflow, precision, rag, recall, retrieval

입력 요구 사항¶

REQUIRED

민감한 동적 속성 지원¶

false

속성¶

속성	설명
컨텍스트 식별자 레코드 경로	레코드에서 컨텍스트 IDs 배열의 RecordPath 입니다.
컨텍스트 레코드 경로	레코드에서 컨텍스트 배열의 RecordPath 입니다.
Evaluation Results Record Path	평가 결과를 작성하려면 RecordPath 로 이메일을 보내십시오.
Ground Truth Record Path	레코드에서 ground truth 필드의 RecordPath 입니다.
LLM Provider Service	평가 프롬프트를 LLM 으로 보내는 공급자 서비스
Question Record Path	레코드에서 질문 필드의 RecordPath 입니다.
Record Reader	FlowFile 을 읽는 데 사용할 Record Reader입니다.
Record Writer	결과 작성에 사용할 Record Writer입니다.

관계¶

이름	설명
실패	처리할 수 없는 FlowFiles 은 이 관계로 라우팅됩니다
성공	성공적으로 처리된 FlowFiles 은 이 관계로 라우팅됩니다

Writes 특성¶

이름	설명
n	쿼리당 검색된 평균 문서 수입니다.
precision.at.n	모든 쿼리에 대한 N의 평균 전체 자릿수입니다.
recall.at.n	모든 쿼리에 대한 N의 평균 리콜 수입니다.
fscore.at.n	모든 쿼리에 대한 N의 평균 F 점수입니다.
mrr	평균 상호 순위입니다.
retrieval.eval.failures	평가를 계산할 수 없는 레코드의 수입니다.
json.parse.failures	발생한 JSON 구문 분석 실패 횟수입니다.