- Categorias:
Funções de cadeia de caracteres e binários (Large Language Model)
COUNT_TOKENS (SNOWFLAKE.CORTEX)¶
Retorna o número de tokens em um prompt para o modelo de linguagem grande ou a função específica da tarefa definida no argumento. Esta função não é compatível com modelos com ajuste fino.
Sintaxe¶
SNOWFLAKE.CORTEX.COUNT_TOKENS( <model_name> , <input_text> )
SNOWFLAKE.CORTEX.COUNT_TOKENS( <function_name> , <input_text> )
Argumentos¶
Obrigatório:
model_name
Nome do modelo no qual deseja basear a contagem de token. Especifique um dos seguintes vaores:
deepseek-r1
e5-base-v2
gemma-7b
jamba-1.5-large
jamba-1.5-mini
jamba-instruct
llama2-70b-chat
llama3-70b
llama3-8b
llama3.1-405b
llama3.1-70b
llama3.1-8b
llama3.2-1b
llama3.2-3b
llama3.3-70b
llama4-maverick
llama4-scout
mixtral-8x7b
mistral-7b
mistral-large
mistral-large2
nv-embed-qa-4
reka-core
reka-flash
snowflake-arctic
snowflake-arctic-embed-m
snowflake-arctic-embed-m-v1.5
snowflake-llama-3.1-405b
snowflake-llama-3.3-70b
voyage-multilingual-2
function_name
Especifique um dos seguintes vaores:
extract_answer
sentiment
summarize
translate
Observe que os nomes das função devem estar em letras minúsculas.
input_text
Insira o texto para contar os tokens.
Retornos¶
Retorna um tipo INT , INTEGER , BIGINT , SMALLINT , TINYINT , BYTEINT que é o número de tokens no texto de entrada com base no modelo ou função especificado.
Notas de uso¶
Se um nome de função for especificado, a contagem de token será baseada no modelo usado pela função.
Ao especificar um nome de função, use letras minúsculas.
Nota
COUNT_TOKENS não leva em conta o prompt do sistema gerenciado que é adicionado automaticamente ao início do texto de entrada ao usar um Funções AISQL do Cortex. Como resultado, o valor retornado por COUNT_TOKENS é menor do que o número real de tokens processados por essas funções.
Exemplos¶
Obtenha a contagem de token para o prompt what is a large language model?
com base no modelo snowflake-arctic
:
SELECT SNOWFLAKE.CORTEX.COUNT_TOKENS( 'snowflake-arctic', 'what is a large language model?' );
+---+
| 6 |
+---+
Obtenha a contagem de token para cada um dos prompts na coluna prompt
de mytable
com base no modelo usado para a função SUMMARIZE:
SELECT SNOWFLAKE.CORTEX.COUNT_TOKENS('SUMMARIZE', prompt) FROM mydb.myschema.mytable LIMIT 10;
+-----------+
| 1 | 1932 |
+-----------+
| 2 | 2379 |
+-----------+
| 3 | 2185 |
+-----------+
| 4 | 1195 |
+-----------+
| 5 | 2908 |
+-----------+
| 6 | 2601 |
+-----------+
| 7 | 2122 |
+-----------+
| 8 | 1720 |
+-----------+
| 9 | 2512 |
+-----------+
| 10 | 1510 |
+-----------+
Obtenha a contagem de token para um texto que deseja traduzir:
SELECT SNOWFLAKE.CORTEX.COUNT_TOKENS('translate', 'Dies ist ein kurzer Text.');
+---+
| 9 |
+---+
Avisos legais¶
Consulte AI e ML Snowflake.