EvaluateRagFaithfulness 2025.5.31.15¶

バンドル¶

com.snowflake.openflow.runtime | runtime-rag-evaluation-processors-nar

LLM (例: OpenAI の GPT) を使って回答を分析することで、検索支援生成 (RAG) システムで生成された回答の忠実度を評価します。プロセッサーは、 FlowFile の各記録を、忠実性の指標と詳細な分析で充実させます。

ai, evaluation, faithfulness, llm, nlp, openai, openflow, rag

REQUIRED

false

プロパティ	説明
コンテキスト識別子記録パス	記録内のコンテキスト IDs の配列への RecordPath。
コンテキスト記録パス	RecordPath 記録内のコンテキストの配列。
評価結果記録パス	RecordPath に評価結果を書きます。
生成されたアンサーの記録パス	記録内の回答フィールドへのパス。
LLM プロバイダーサービス	LLM に評価プロンプトを送信するプロバイダーサービス。
質問記録パス	記録の質問フィールドの RecordPath。
Record Reader	FlowFile を読むために使用するRecord Reader。
Record Writer	結果の書き込みに使用するRecord Writer。

名前	説明
failure	処理できずこのリレーションシップにルーティングされる FlowFiles
success	正常に処理されると、このリレーションシップにルーティングされる FlowFiles

名前	説明
average.answer.faithfulness	全記録で計算された平均忠実スコア。
json.parse.failures	JSON 解析に失敗した数。

このプロセッサを使用して、 LLM によって生成された答えが、プロバイダーから提供されたコンテキストに忠実であるかどうかを評価します。RAG システムのパフォーマンスを監視し、改善するために使用できるメトリックスを提供します。