EvaluateRagRetrieval 2025.5.31.15¶

Pacote¶

com.snowflake.openflow.runtime | runtime-rag-evaluation-processors-nar

Descrição¶

Calcula métricas de recuperação (Precision@N, Recall@N, FScore@N, MAP@N, MRR) para um sistema RAG usando um LLM como juiz. Para cada registro, ele usa os prompts Precision e Recall para avaliar a resposta e adiciona as métricas como atributos ao FlowFile.

Tags¶

evaluation, fscore, llm, metrics, mrr, openai, openflow, precision, rag, recall, retrieval

Requisito de entrada¶

REQUIRED

Oferece suporte a propriedades dinâmicas confidenciais¶

falso

Propriedades¶

Propriedade	Descrição
Caminho de registro do identificador de contexto	O RecordPath para a matriz de IDs de contexto no registro.
Caminho do registro de contexto	O RecordPath para a matriz de contextos no registro.
Caminho de registro dos resultados da avaliação	Você deve escrever os resultados da avaliação para RecordPath.
Caminho de registro da verdade fundamental	O RecordPath para o campo de verdade fundamental no registro.
Serviço do provedor de LLM	O serviço de provedor para enviar prompts de avaliação ao LLM
Caminho de registro da pergunta	O RecordPath para o campo de pergunta no registro.
Record Reader	O Record Reader a ser usado para ler o FlowFile.
Record Writer	O Record Writer a ser usado para gravar os resultados.

Relações¶

Nome	Descrição
failure	FlowFiles que não podem ser processados são encaminhados para essa relação
success	FlowFiles que são processados com sucesso são encaminhados para essa relação

Grava atributos¶

Nome	Descrição
n	O número médio de documentos recuperados por consulta.
precision.at.n	A precisão média em N em todas as consultas.
recall.at.n	A recuperação média em N em todas as consultas.
fscore.at.n	O F-Score médio em N em todas as consultas.
mrr	O Mean Reciprocal Rank.
retrieval.eval.failures	Número de registros em que não foi possível calcular a avaliação.
json.parse.failures	Número de falhas de análise do JSON encontradas.