StandardOpenAILLMService

Descrição

Um Controller Service que fornece integração com a API de conclusão de conversas da OpenAI. Oferece suporte a parâmetros configuráveis, incluindo seleção de modelo, temperatura, top_p, tokens máximos e comportamento de nova tentativa. Trata da autenticação de API, das novas tentativas de solicitação com espera exponencial e do tratamento de erros.

Tags

ai, chat completion, chatgpt, large language model, llm, openai, openflow

Propriedades

Na lista abaixo, as propriedades obrigatórias são mostradas com um asterisco (*). Outras propriedades são consideradas opcionais. A tabela também indica os valores padrão e se uma propriedade é compatível com linguagem de expressão NiFi.

Nome de exibição

Nome da API

Valor padrão

Valores permitidos

Descrição

Atraso base de espera (ms) *

Atraso base de espera (ms)

1000

O atraso base em milissegundos para espera exponencial entre novas tentativas

Máximo de tokens de resposta

Máximo de tokens de resposta

O número máximo de tokens a serem gerados na resposta.

Máximo de tentativas *

Máximo de tentativas

3

O número máximo de novas tentativas para chamadas de API

Nome do modelo *

Nome do modelo

gpt-4o-mini

O nome do modelo da OpenAI.

Chave de API da OpenAI *

Chave da API OpenAI

A chave de API para autenticação na OpenAI.

Semente

Semente

A semente a ser usada para gerar a resposta

Temperatura

Temperatura

A temperatura a ser usada para gerar a resposta.

Top P

Top P

O valor top_p para amostragem de núcleo. Ele controla a diversidade das respostas geradas.

Usuário

Usuário

Seu usuário final, enviado à OpenAI para monitoramento e detecção de abuso

Serviço de cliente Web *

Serviço de cliente Web

O serviço de cliente Web a ser usado para se comunicar com o provedor LLM.

Gerenciamento do estado

Esse componente não armazena o estado.

Restrito

Esse componente não é restrito.

Considerações sobre os recursos do sistema

Esse componente não especifica considerações sobre os recursos do sistema.