EvaluateRagRetrieval 2025.5.31.15¶

Bundle¶

com.snowflake.openflow.runtime | runtime-rag-evaluation-processors-nar

Description¶

Calcule les mesures de récupération (Precision@N, Recall@N, FScore@N, MAP@N, MRR) pour un système RAG en utilisant un LLM comme juge. Pour chaque enregistrement, il utilise les invites Precision et Recall pour évaluer la réponse et ajoute les métriques comme attributs au FlowFile.

Balises¶

evaluation, fscore, llm, metrics, mrr, openai, openflow, precision, rag, recall, retrieval

Exigences en matière d’entrées¶

REQUIRED

Prend en charge les propriétés dynamiques sensibles¶

false

Propriétés¶

Propriété	Description
Chemin d’enregistrement de l’identifiant de contexte	Le RecordPath du tableau des IDs de contextes dans l’enregistrement.
Chemin de l’enregistrement contextuel	Le RecordPath du tableau des contextes dans l’enregistrement.
Chemin d’enregistrement des résultats d’évaluation	Le RecordPath pour écrire les résultats de l’évaluation.
Chemin d’enregistrement de la référence réelle	Le RecordPath vers le champ de la référence réelle dans l’enregistrement.
Service fournisseur LLM	Le service fournisseur pour l’envoi d’invites d’évaluation à LLM
Chemin de l’enregistrement de la question	Le RecordPath du champ de la question dans l’enregistrement.
Record Reader	Le Record Reader à utiliser pour lire le FlowFile.
Record Writer	Le Record Writer à utiliser pour écrire les résultats.

Relations¶

Nom	Description
failure	Les FlowFiles qui ne peuvent être traités sont routés vers cette relation
success	Les FlowFiles qui sont traités avec succès sont routés vers cette relation

Écrit les attributs¶

Nom	Description
n	Le nombre moyen de documents récupérés par requête.
precision.at.n	La précision moyenne à N sur l’ensemble des requêtes.
recall.at.n	Le rappel moyen à N sur l’ensemble des requêtes.
fscore.at.n	Le F-Score moyen à N sur l’ensemble des requêtes.
mrr	Le rang réciproque moyen.
retrieval.eval.failures	Nombre d’enregistrements pour lesquels l’évaluation n’a pas pu être calculée.
json.parse.failures	Le nombre d’échecs d’analyse JSON rencontrés.