EvaluateRagFaithfulness 2025.5.31.15¶

번들¶

com.snowflake.openflow.runtime | runtime-rag-evaluation-processors-nar

검색 증강 생성(RAG) 시스템에서 생성된 답변의 충실도를 LLM (예: OpenAI 의 GPT)을 사용하여 응답을 분석하여 평가합니다. 프로세서는 충실도 메트릭과 상세한 분석을 통해 각 FlowFile 레코드를 보강합니다.

ai, evaluation, faithfulness, llm, nlp, openai, openflow, rag

REQUIRED

false

속성	설명
컨텍스트 식별자 레코드 경로	레코드에서 컨텍스트 IDs 배열의 RecordPath 입니다.
컨텍스트 레코드 경로	레코드에서 컨텍스트 배열의 RecordPath 입니다.
Evaluation Results Record Path	평가 결과를 작성하려면 RecordPath 로 이메일을 보내십시오.
Generated Answer Record Path	레코드의 답변 필드 경로
LLM Provider Service	평가 프롬프트를 LLM 으로 보내는 공급자 서비스
Question Record Path	레코드에서 질문 필드의 RecordPath 입니다.
Record Reader	FlowFile 을 읽는 데 사용할 Record Reader입니다.
Record Writer	결과 작성에 사용할 Record Writer입니다.

이름	설명
실패	처리할 수 없는 FlowFiles 은 이 관계로 라우팅됩니다
성공	성공적으로 처리된 FlowFiles 은 이 관계로 라우팅됩니다

이름	설명
average.answer.faithfulness	모든 레코드에 대해 계산된 평균 충실도 점수입니다.
json.parse.failures	발생한 JSON 구문 분석 실패 횟수입니다.

이 프로세서를 사용하여 LLM 에서 생성한 답변의 충실도를 제공된 컨텍스트와 비교하여 평가합니다. RAG 시스템의 성능을 모니터링하고 개선하는 데 사용할 수 있는 메트릭을 제공합니다.