EvaluateRagFaithfulness 2025.5.31.15¶

Pacote¶

com.snowflake.openflow.runtime | runtime-rag-evaluation-processors-nar

Descrição¶

Avalia a fidelidade das respostas geradas em um sistema de geração aumentada de recuperação (RAG) analisando as respostas usando um LLM (por exemplo, o GPT da OpenAI). O processador enriquece cada registro do FlowFile com métricas de fidelidade e análise detalhada.

Tags¶

ai, evaluation, faithfulness, llm, nlp, openai, openflow, rag

Requisito de entrada¶

REQUIRED

Oferece suporte a propriedades dinâmicas confidenciais¶

falso

Propriedades¶

Propriedade	Descrição
Caminho de registro do identificador de contexto	O RecordPath para a matriz de IDs de contexto no registro.
Caminho do registro de contexto	O RecordPath para a matriz de contextos no registro.
Caminho de registro dos resultados da avaliação	Você deve escrever os resultados da avaliação para RecordPath.
Caminho do registro de resposta gerado	O caminho para o campo de resposta no registro
Serviço do provedor de LLM	O serviço de provedor para enviar prompts de avaliação ao LLM
Caminho de registro da pergunta	O RecordPath para o campo de pergunta no registro.
Record Reader	O Record Reader a ser usado para ler o FlowFile.
Record Writer	O Record Writer a ser usado para gravar os resultados.

Relações¶

Nome	Descrição
failure	FlowFiles que não podem ser processados são encaminhados para essa relação
success	FlowFiles que são processados com sucesso são encaminhados para essa relação

Grava atributos¶

Nome	Descrição
average.answer.faithfulness	A pontuação média de fidelidade computada em todos os registros.
json.parse.failures	Número de falhas de análise do JSON encontradas.

Casos de uso¶

Use esse processador para avaliar a fidelidade das respostas geradas por um LLM em comparação com o contexto fornecido. Ele fornece métricas que podem ser usadas para monitorar e melhorar o desempenho dos sistemas RAG.