Débit provisionné¶

Vue d’ensemble¶

Utilisez Provisioned Throughput pour réserver le débit pour l’inférence gérée sur Snowflake Cortex. Vous spécifiez la taille du débit en unités de débit provisionnées (PTU), et Cortex alloue la capacité requise pour une durée d’un mois. Vous pouvez utiliser les PTUs dans vos appels d’API REST pour une expérience cohérente pour l’utilisateur final. La fonctionnalité est disponible pour les modèles suivants dans les Clouds AWS et Azure :

• Mistral Large 2

• Llama 3.1-405B

• Lamas 3.1-70B

• Llama 3.1-8B

• Snowflake-Lama3.3-70B

• Snowflake-Lama3.3-405B

Exigences en matière de contrôle d’accès¶

Les utilisateurs doivent utiliser un rôle auquel a été attribué le rôle de base de données SNOWFLAKE.CORTEX_USER avec le privilège USAGE sur l’ID de PT. Pour plus d’informations sur ce privilège, voir Privilèges.

GRANT CREATE PROVISIONED THROUGHPUT ON ACCOUNT TO ROLE <role>

GRANT USAGE ON PROVISIONED THROUGHPUT <pt_id> TO ROLE <role>

Exigences minimales en matière d’unités de débit provisionnées¶

Le débit provisionné est soumis à des exigences minimales et incrémentielles sur le site PTU. Chaque modèle ou fonction dans la colonne PTUs minimum indique le nombre minimum de PTUs que vous devez demander. Si vous demandez moins de PTUs que le minimum requis, votre requête est rejetée.

Si vous avez besoin d’un débit supérieur à l’offre minimale de PTUs pour le modèle, vous avez besoin de PTUs supplémentaires. La colonne PTUs d’incrémentation indique les incréments de PTU supérieurs au PTUs minimum que vous pouvez demander. Les requêtes doivent spécifier les PTUs de telle sorte que le montant dépassant le minimum soit un multiple entier de l’incrément ; sinon, la requête est rejetée.

Le tableau ci-dessous donne la liste des modèles disponibles, le nombre minimum de PTUs requis pour chaque modèle, et les exigences d’incrémentation pour les PTUs supplémentaires au-delà du minimum.

Détermination de la taille de PTU¶

Les PTUs requis pour votre application dépendent du profil de la charge de travail. Par exemple, sur Llama 3.1-8B, une charge de travail avec 500 requêtes par minute (RPM) et 500 jetons par sortie de requête a un minimum de 64 PTUs. Elle fournit un débit de 960 000 jetons par minute. Si vous avez besoin d’un débit plus important, vous pouvez demander des PTUs supplémentaires par tranches de 32.

Lorsque vous débutez, vous pouvez utiliser le nombre minimum de PTUs pour le modèle et ajouter des incréments selon vos besoins.

Considérations relatives aux clients¶

Pendant la durée de votre période de débit provisionné, vous consommez des crédits par PTU et par heure au taux annoncé dans le tableau de consommation de crédits de Snowflake. Vous payez des frais pour les PTUs qui vous ont été attribués, quelle que soit l’utilisation réelle que vous en faites pendant la durée de la période. La période commence et se termine à 8h00. PT pour les dates fournies dans la création du débit provisionné.

Le débit provisionné ne se renouvelle pas automatiquement. Pour réserver le débit pour une autre période, voir la section suivante.

Réservation du débit¶

Ce tutoriel vous guide dans le processus de réservation et d’utilisation du débit provisionné dans un appel de l’API REST pour la fonction COMPLETE de Cortex.

CREATE PROVISIONED THROUGHPUT my_pt CLOUD_PROVIDER='aws', MODEL='llama3.1-8B', PTUS=64, TERM_START='2025-04-15' TERM_END='2025-05-15'

DESCRIBE PROVISIONED THROUGHPUT my_pt

curl --location 'https://some-account-identifier.snowflakecomputing.com/api/v2/cortex/inference:complete' \
--header 'X-Snowflake-Authorization-Token-Type: KEYPAIR_JWT' \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header 'Authorization: ••••••' \
--data '{
  "model": "snowflake-llama-3.1-8b",
  "messages": [
  {
      "content": "Write an essay on the benefits of provisioned throughput."
  }
  ],
  "provisioned_throughput_id": "f3a27d60-f61f-4247-8aa3-6272ea0d7a8d"
}'