EvaluateRagRetrieval 2025.5.31.15¶

Bundle¶

com.snowflake.openflow.runtime | runtime-rag-evaluation-processors-nar

Beschreibung¶

Berechnet Abrufmetriken (Precision@N, Recall@N, FScore@N, MAP@N, MRR) für einRAG-System unter Verwendung eines LLM als Bewertungsinstanz. Für jeden Datensatz werden sowohl Precision- als auch Recall-Prompts verwendet, um die Antwort zu bewerten, und die Metriken werden als Attribute zum FlowFile hinzugefügt.

Tags¶

evaluation, fscore, llm, metrics, mrr, openai, openflow, precision, rag, recall, retrieval

Eingabeanforderung¶

REQUIRED

Unterstützt sensible dynamische Eigenschaften¶

false

Eigenschaften¶

Eigenschaft	Beschreibung
Context Identifier Record Path	Der RecordPath zum Array der Kontext-IDs im Datensatz.
Context Record Path	Der RecordPath zum Array der Kontexte im Datensatz.
Evaluation Results Record Path	Der RecordPath, in den die Ergebnisse der Auswertung geschrieben werden sollen.
Ground Truth Record Path	Der RecordPath zum Feld „Ground Truth“ im Datensatz
LLM Provider Service	Der Anbieterdienst zum Senden von Bewertungsaufforderungen an LLM
Question Record Path	Der RecordPath zum Fragefeld im Datensatz
Record Reader	Der Record Reader, der zum Lesen des FlowFile verwendet wird.
Record Writer	Der Record Writer, der zum Schreiben der Ergebnisse verwendet wird.

Beziehungen¶

Name	Beschreibung
failure	FlowFiles, die nicht verarbeitet werden können, werden an diese Beziehung weitergeleitet.
success	FlowFiles, die erfolgreich bearbeitet wurden, werden an diese Beziehung weitergeleitet.

Schreibt Attribute¶

Name	Beschreibung
n	Die durchschnittliche Anzahl der abgerufenen Dokumente pro Abfrage.
precision.at.n	Die durchschnittliche Genauigkeit bei N über alle Abfragen.
recall.at.n	Der durchschnittliche Recall bei N über alle Abfragen.
fscore.at.n	Der durchschnittliche F-Wert bei N über alle Abfragen.
mrr	Der mittlere reziproke Rang.
retrieval.eval.failures	Anzahl der Datensätze, für die die Auswertung nicht berechnet werden konnte.
json.parse.failures	Anzahl der aufgetretenen JSON-Parse-Fehler