EvaluateRagFaithfulness 2025.5.31.15¶

Bundle¶

com.snowflake.openflow.runtime | runtime-rag-evaluation-processors-nar

Beschreibung¶

Bewertet die Genauigkeit der generierten Antworten in einem Retrieval-Augmented Generation (RAG) System durch Analyse der Antworten mithilfe eines LLM (z. B. dem GPT von OpenAI). Der Prozessor ergänzt jeden FlowFile-Datensatz mit Faithfulness-Metriken und detaillierten Analysen.

Tags¶

ai, evaluation, faithfulness, llm, nlp, openai, openflow, rag

Eingabeanforderung¶

REQUIRED

Unterstützt sensible dynamische Eigenschaften¶

false

Eigenschaften¶

Eigenschaft	Beschreibung
Context Identifier Record Path	Der RecordPath zum Array der Kontext-IDs im Datensatz.
Context Record Path	Der RecordPath zum Array der Kontexte im Datensatz.
Evaluation Results Record Path	Der RecordPath, in den die Ergebnisse der Auswertung geschrieben werden sollen.
Generated Answer Record Path	Der Pfad zum Antwortfeld im Datensatz
LLM Provider Service	Der Anbieterdienst zum Senden von Bewertungsaufforderungen an LLM
Question Record Path	Der RecordPath zum Fragefeld im Datensatz
Record Reader	Der Record Reader, der zum Lesen des FlowFile verwendet wird.
Record Writer	Der Record Writer, der zum Schreiben der Ergebnisse verwendet wird.

Beziehungen¶

Name	Beschreibung
failure	FlowFiles, die nicht verarbeitet werden können, werden an diese Beziehung weitergeleitet.
success	FlowFiles, die erfolgreich bearbeitet wurden, werden an diese Beziehung weitergeleitet.

Schreibt Attribute¶

Name	Beschreibung
average.answer.faithfulness	Der über alle Datensätze berechnete durchschnittliche Genauigkeitswert.
json.parse.failures	Anzahl der aufgetretenen JSON-Parse-Fehler

Anwendungsfälle¶

Verwenden Sie diesen Prozessor, um die Genauigkeit der von einem LLM generierten Antworten im Vergleich zum bereitgestellten Kontext zu bewerten. Er liefert Kennzahlen, die zur Überwachung und Verbesserung der Leistung von RAG-Systemen verwendet werden können.