EvaluateRagFaithfulness 2025.5.31.15¶

Bundle¶

com.snowflake.openflow.runtime | runtime-rag-evaluation-processors-nar

Description¶

Évalue la fidélité des réponses générées dans un système de génération assistée par récupération (RAG) en analysant les réponses à l’aide d’un LLM (par exemple, OpenAI de GPT). Le processeur enrichit chaque enregistrement FlowFile de mesures de fidélité et d’une analyse détaillée.

Balises¶

ai, evaluation, faithfulness, llm, nlp, openai, openflow, rag

Exigences en matière d’entrées¶

REQUIRED

Prend en charge les propriétés dynamiques sensibles¶

false

Propriétés¶

Propriété	Description
Chemin d’enregistrement de l’identifiant de contexte	Le RecordPath du tableau des IDs de contextes dans l’enregistrement.
Chemin de l’enregistrement contextuel	Le RecordPath du tableau des contextes dans l’enregistrement.
Chemin d’enregistrement des résultats d’évaluation	Le RecordPath pour écrire les résultats de l’évaluation.
Chemin de l’enregistrement de la réponse générée	Le chemin vers le champ de la réponse dans l’enregistrement
Service fournisseur LLM	Le service fournisseur pour l’envoi d’invites d’évaluation à LLM
Chemin de l’enregistrement de la question	Le RecordPath du champ de la question dans l’enregistrement.
Record Reader	Le Record Reader à utiliser pour lire le FlowFile.
Record Writer	Le Record Writer à utiliser pour écrire les résultats.

Relations¶

Nom	Description
failure	Les FlowFiles qui ne peuvent être traités sont routés vers cette relation
success	Les FlowFiles qui sont traités avec succès sont routés vers cette relation

Écrit les attributs¶

Nom	Description
average.answer.faithfulness	Le score moyen de fidélité calculé sur l’ensemble des enregistrements.
json.parse.failures	Le nombre d’échecs d’analyse JSON rencontrés.

Cas d’utilisation¶

Utilisez ce processeur pour évaluer la fidélité des réponses générées par un LLM par rapport au contexte fourni. Il fournit des mesures qui peuvent être utilisées pour surveiller et améliorer les performances des systèmes RAG.