EvaluateRagRetrieval 2025.5.31.15¶

バンドル¶

com.snowflake.openflow.runtime | runtime-rag-evaluation-processors-nar

説明¶

LLM を判定対象として、 RAG システムの検索メトリクス (Precision@N, Recall@N, FScore@N, MAP@N, MRR) を計算します。各記録について、Precision と Recall の両方のプロンプトを使用してレスポンスを評価し、そのメトリクスを属性として FlowFile に追加します。

タグ¶

evaluation, fscore, llm, metrics, mrr, openai, openflow, precision, rag, recall, retrieval

入力要件¶

REQUIRED

機密動的プロパティをサポート¶

false

プロパティ¶

プロパティ	説明
コンテキスト識別子記録パス	記録内のコンテキスト IDs の配列への RecordPath。
コンテキスト記録パス	RecordPath 記録内のコンテキストの配列。
評価結果記録パス	RecordPath に評価結果を書きます。
グランドトゥルースの記録パス	記録内のグランドトゥルースフィールドへの RecordPath。
LLM プロバイダーサービス	LLM に評価プロンプトを送信するプロバイダーサービス。
質問記録パス	記録の質問フィールドの RecordPath。
Record Reader	FlowFile を読むために使用するRecord Reader。
Record Writer	結果の書き込みに使用するRecord Writer。

リレーションシップ¶

名前	説明
failure	処理できずこのリレーションシップにルーティングされる FlowFiles
success	正常に処理されると、このリレーションシップにルーティングされる FlowFiles

属性の書き込み¶

名前	説明
n	クエリあたりの平均検索ドキュメント数。
precision.at.n	全クエリの平均精度。
recall.at.n	全てのクエリに対するNでの平均リコール。
fscore.at.n	全クエリの平均Fスコア。
mrr	平均逆順位。
retrieval.eval.failures	evalを計算できなかった記録数。
json.parse.failures	JSON 解析に失敗した数。