StandardAnthropicLLMService

Description

Un Controller Service qui fournit une intégration avec les modèles Claude AI d’Anthropic par le biais de leurs API de messages. Prend en charge les paramètres configurables, notamment la sélection du modèle, les paramètres de génération de la réponse (température, top_p, top_k), les limites des jetons et le comportement en cas de nouvelle tentative.

Balises

ai, anthropic, api, claude, language model, llm, openflow

Propriétés

Dans la liste ci-dessous, les propriétés requises sont signalées par un astérisque (*). Les autres propriétés sont considérées comme facultatives. La table indique également les valeurs par défaut et précise si une propriété prend en charge le langage d’expression NiFi.

Nom d’affichage

Nom d’API

Valeur par défaut

Valeurs autorisées

Description

Clé d’API Anthropic *

Anthropic API Key

La clé API pour l’authentification à l’Anthropic

Délai de base Backoff (ms) *

Délai de base Backoff (ms)

1000

Délai de base en millisecondes pour le backoff exponentiel entre les tentatives

Nombre maximal de jetons de réponse *

Nombre maximal de jetons de réponse

1000

Le nombre maximum de jetons à générer dans la réponse.

Nombre maximal de tentatives *

Nombre maximal de tentatives

3

Nombre maximal de tentatives d’essais pour les appels d’API

Nom du modèle *

Model Name

claude-3-5-sonnet-latest

Le nom du modèle Anthropic

Temperature

Temperature

La température à utiliser pour générer la réponse.

Top K

Top K

La valeur Top K à utiliser pour générer la réponse. N’échantillonnez que les K premières options pour chaque jeton suivant. Recommandé uniquement pour les cas d’utilisation avancés. En général, il suffit d’utiliser la température.

Top P

Top P

La valeur top_p pour l’échantillonnage par noyau. Il permet de contrôler la diversité des réponses générées.

ID utilisateur

ID utilisateur

L’identifiant utilisateur à définir dans les métadonnées de la requête.

Service Web Client *

Web Client Service

Le service Web Client à utiliser pour communiquer avec le fournisseur LLM.

Gestion de l’État

Ce composant ne stocke pas d’état.

Restreint

Cette composante n’est pas limitée.

Considérations relatives aux ressources du système

Ce composant ne précise pas les ressources du système à prendre en compte.