Catégories :

Fonctions de chaîne et fonctions binaires (Large Language Model)

COUNT_TOKENS (SNOWFLAKE.CORTEX)

Renvoie le nombre de jetons dans une invite pour le grand modèle de langage ou la fonction spécifique à la tâche spécifiée dans l’argument. Cette fonction ne prend pas en charge les modèles affinés :

Syntaxe

SNOWFLAKE.CORTEX.COUNT_TOKENS( <model_name> , <input_text> )

SNOWFLAKE.CORTEX.COUNT_TOKENS( <function_name> , <input_text> )
Copy

Arguments

Obligatoire :

model_name

Nom du modèle sur lequel vous souhaitez baser le nombre de jetons. Spécifie l’une des valeurs suivantes :

  • snowflake-arctic

  • mistral-large

  • reka-flash

  • reka-core

  • mixtral-8x7b

  • llama2-70b-chat

  • llama3-8b

  • llama3-70b

  • mistral-7b

  • gemma-7b

  • snowflake-arctic-embed-m

  • e5-base-v2

  • nv-embed-qa-4

nom_fonction

Nom de l’une des fonctions spécifiques à la tâche. Spécifie l’une des valeurs suivantes :

  • extract_answer

  • sentiment

  • summarize

  • translate

Notez que les noms de fonctions doivent être en minuscules.

input_text

Saisisser du texte pour compter les jetons.

Renvoie

Renvoie un type INT , INTEGER , BIGINT , SMALLINT , TINYINT , BYTEINT qui est le nombre de jetons dans le texte d’entrée en fonction du modèle ou de la fonction spécifié.

Notes sur l’utilisation

  • Si un nom de fonction est spécifié, le nombre de jetons est basé sur le modèle utilisé par la fonction.

  • Lorsque vous spécifiez un nom de fonction, utilisez des lettres minuscules.

Exemples

Obtenir le nombre de jetons pour l’invite what is a large language model? basé sur le modèle snowflake-arctic :

SELECT SNOWFLAKE.CORTEX.COUNT_TOKENS( 'snowflake-arctic', 'what is a large language model?' );
Copy
+---+
| 6 |
+---+

Obtenir le nombre de jetons pour chacune des invites dans la colonne prompt de mytable sur la base du modèle utilisé pour la fonction SUMMARIZE :

SELECT SNOWFLAKE.CORTEX.COUNT_TOKENS('SUMMARIZE', prompt) FROM mydb.myschema.mytable LIMIT 10;
Copy
+-----------+
| 1 |  1932 |
+-----------+
| 2 |  2379 |
+-----------+
| 3 |  2185 |
+-----------+
| 4 |  1195 |
+-----------+
| 5 |  2908 |
+-----------+
| 6 |  2601 |
+-----------+
| 7 |  2122 |
+-----------+
| 8 |  1720 |
+-----------+
| 9 |  2512 |
+-----------+
| 10 | 1510 |
+-----------+

Obtenir le nombre de jetons pour un texte que vous souhaitez traduire :

SELECT SNOWFLAKE.CORTEX.COUNT_TOKENS('translate', 'Dies ist ein kurzer Text.');
Copy
+---+
| 9 |
+---+
Langage: Français