StandardOpenAILLMService

설명

OpenAI 의 Chat Completion API 와 통합을 제공하는 컨트롤러 서비스입니다. 모델 선택, 온도, top_p, 최대 토큰, 재시도 동작 등 구성 가능한 매개 변수를 지원합니다. API 인증, 지수 백오프를 통한 요청 재시도 및 오류 처리를 처리합니다.

태그

ai, chat completion, chatgpt, large language model, llm, openai, openflow

속성

아래 목록에서 필수 속성에는 별표(*)가 표시되어 있습니다. 다른 속성은 선택 사항으로 간주됩니다. 이 테이블에는 기본값과 속성이 NiFi 식 언어를 지원하는지 여부도 표시됩니다.

표시 이름

API 이름

기본값

허용되는 값

설명

백오프 기본 지연(ms) *

백오프 기본 지연(ms)

1000

재시도 간 지수 백오프를 위한 기본 지연(밀리초)

최대 응답 토큰 수

최대 응답 토큰 수

응답에서 생성할 토큰의 최대 개수입니다.

최대 재시도 *

최대 재시도

3

API 호출에 대한 최대 재시도 시도 횟수

모델 이름 *

모델 이름

gpt-4o-mini

OpenAI 모델의 이름입니다.

OpenAI API 키 *

OpenAI API 키

OpenAI 로 인증하기 위한 API 키입니다.

시드

시드

응답을 생성하는 데 사용할 시드

온도

온도

응답을 생성하는 데 사용할 온도입니다.

Top P

Top P

핵 샘플을 위한 top_p 값입니다. 생성된 응답의 다양성을 제어합니다.

사용자

사용자

최종 사용자는 남용 모니터링 및 탐지를 위해 OpenAI 로 전송됩니다

웹 클라이언트 서비스 *

Web Client Service

LLM 공급자와 통신하는 데 사용할 웹 클라이언트 서비스입니다.

상태 관리

이 구성 요소는 상태를 저장하지 않습니다.

제한됨

이 구성 요소는 제한되지 않습니다.

시스템 리소스 고려 사항

이 구성 요소는 시스템 리소스 고려 사항을 지정하지 않습니다.