Cortex LLM REST API¶

Considérations relatives aux clients¶

Les requêtes Snowflake Cortex LLMRESTAPI ont un coût de calcul basé sur le nombre de jetons traités. Reportez-vous à la table de consommation des services Snowflake pour le coût de chaque fonction en crédits par million de jetons. Un jeton est la plus petite unité de texte traitée par les fonctions Snowflake Cortex LLM, correspondant approximativement à quatre caractères de texte. L’équivalence du texte brut d’entrée ou de sortie en jetons peut varier selon le modèle.

La fonction COMPLETE génère un nouveau texte à partir d’une invite de saisie. Les jetons d’entrée et de sortie entraînent tous deux des coûts de calcul. Si vous utilisez COMPLETE pour offrir une expérience utilisateur conversationnelle ou de chat, toutes les invites et réponses précédentes sont traitées pour générer chaque nouvelle réponse, avec les coûts correspondants.

Quotas d’utilisation¶

Afin de garantir un niveau de performance élevé à tous les clients de Snowflake, les requêtes Snowflake Cortex LLMRESTAPI sont soumises à des quotas d’utilisation au-delà desquels les requêtes peuvent être limitées. Snowflake peut ajuster ces quotas de temps à autre. Les quotas indiqués dans la table ci-dessous sont appliqués par compte et sont indépendamment appliqués pour chaque modèle.

point de terminaison COMPLETE¶

Le point de terminaison /api/v2/cortex/inference:complete exécute la fonction SQL COMPLETE. Cela prend la forme :

POST https://<account_identifier>.snowflakecomputing.com/api/v2/cortex/inference:complete

où account_identifier est le l’identificateur de compte que vous utilisez pour accéder à Snowsight.

Configuration de l’authentification¶

L’authentification auprès du Cortex LLM REST API utilise l’authentification par paire de clés. Cela nécessite la création d’une paire de clés RSA et l’attribution de sa clé publique à un utilisateur, ce qui doit être fait à l’aide du rôle SECURITYADMIN (ou un autre rôle auquel SECURITYADMIN a été accordé, comme ACCOUNTADMIN). Pour des instructions étape par étape, consultez Configuration de l’authentification par paire de clés.

Pour effectuer des requêtes API, utilisez la clé publique pour créer un Jeton Web JSON (JWT) et transmettez-le dans les en-têtes de la requête.

Configuration de l’autorisation¶

Une fois que vous avez créé une paire de clés et attribué sa clé publique à un utilisateur, le rôle par défaut de cet utilisateur doit avoir le rôle de base de données snowflake.cortex_user, qui contient les privilèges permettant d’utiliser les fonctions LLM. Dans la plupart des cas, les utilisateurs disposent déjà de ce privilège, car il est accordé au rôle PUBLIC automatiquement, et tous les rôles héritent de PUBLIC.

Si votre administrateur Snowflake préfère inscrire des utilisateurs individuels, il ou elle a peut-être révoqué snowflake.cortex_user du rôle PUBLIC, et doit accorder ce rôle aux utilisateurs qui devraient pouvoir utiliser le Cortex LLM REST API comme suit.

GRANT DATABASE ROLE snowflake.cortex_user TO ROLE MY_ROLE;
GRANT ROLE MY_ROLE TO USER MY_USER;

ALTER USER MY_USER SET DEFAULT_ROLE=MY_ROLE

Soumission de requêtes¶

Vous faites une demande au Cortex LLM REST API par POSTing au point de terminaison de l’API REST. L’en-tête Authorization doit contenir un Jeton JSON Web généré à partir de votre clé publique, ce que vous pouvez faire en utilisant snowsql via la commande suivante. Le JWT généré expire après une heure.

snowsql -a <account_identifier> -u <user> --private-key-path <path>/rsa_key.p8 --generate-jwt

Le corps de la requête est un objet JSON qui spécifie le modèle, l’historique des invites ou des conversations et les options. Consultez les références API suivantes pour plus de détails.

Référence API¶

Exemple¶

L’exemple suivant utilise curl pour effectuer une requête COMPLETE. Remplacer jwt, prompt, et account_identifier avec les valeurs appropriées dans cette commande.

curl -X POST \
    -H 'X-Snowflake-Authorization-Token-Type: KEYPAIR_JWT' \
    -H "Authorization: Bearer <jwt>" \
    -H 'Content-Type: application/json' \
    -H 'Accept: application/json, text/event-stream' \
    -d '{
    "model": "mistral-large",
    "messages": [
        {
            "content": "<prompt>"
        }
    ],
    "top_p": 0,
    "temperature": 0
    }' \
https://<account_identifier>.snowflakecomputing.com/api/v2/cortex/inference:complete

data: {
data:  "id": "65c5e2ac-529b-461e-8a8c-f80655e6bd3f",
data:  "created": 1723493954,
data:  "model": "mistral-7b",
data:  "choices": [
data:    {
data:      "delta": {
data:        "content": "Cor"
data:        }
data:      }
data:     ],
data:  "usage": {
data:    "prompt_tokens": 57,
data:    "completion_tokens": 1,
data:    "total_tokens": 58
data:  }
data: }

data: {
data:  "id": "65c5e2ac-529b-461e-8a8c-f80655e6bd3f",
data:  "created": 1723493954,
data:  "model": "mistral-7b",
data:  "choices": [
data:    {
data:      "delta": {
data:        "content": "tex"
data:        }
data:      }
data:     ],
data:  "usage": {
data:    "prompt_tokens": 57,
data:    "completion_tokens": 2,
data:    "total_tokens": 59
data:  }
data: }

Python API¶

Pour installer l’API Python, utiliser :

pip install snowflake-ml-python

L’API Python est incluse dans le paquet snowflake-ml-python avec la version 1.6.1.

from snowflake.snowpark import Session
from snowflake.cortex import Complete

session = Session.builder.configs(...).create()

stream = Complete(
  "mistral-7b",
  "What are unique features of the Snowflake SQL dialect?",
  session=session,
  stream=True)

for update in stream:
  print(update)