- カテゴリ:
文字列とバイナリ関数 (大規模言語モデル)
COUNT_TOKENS (SNOWFLAKE.CORTEX)¶
引数で指定された大規模言語モデルまたはタスク固有の関数のプロンプトのトークン数を返します。この関数は微調整済みモデルをサポートしていません。
構文¶
SNOWFLAKE.CORTEX.COUNT_TOKENS( <model_name> , <input_text> )
SNOWFLAKE.CORTEX.COUNT_TOKENS( <function_name> , <input_text> )
引数¶
必須:
model_name
トークン数の基にしたいモデルの名前。次の値のいずれかを指定します。
deepseek-r1
e5-base-v2
gemma-7b
jamba-1.5-large
jamba-1.5-mini
jamba-instruct
llama2-70b-chat
llama3-70b
llama3-8b
llama3.1-405b
llama3.1-70b
llama3.1-8b
llama3.2-1b
llama3.2-3b
llama3.3-70b
llama4-maverick
llama4-scout
mixtral-8x7b
mistral-7b
mistral-large
mistral-large2
nv-embed-qa-4
reka-core
reka-flash
snowflake-arctic
snowflake-arctic-embed-m
snowflake-arctic-embed-m-v1.5
snowflake-llama-3.1-405b
snowflake-llama-3.3-70b
voyage-multilingual-2
関数名
次の値のいずれかを指定します。
extract_answer
sentiment
summarize
translate
関数名は小文字でなければならないことに注意してください。
input_text
トークンを数えるテキストを入力。
戻り値¶
指定されたモデルまたは関数に基づいて、入力テキスト内のトークン数を INT , INTEGER , BIGINT , SMALLINT , TINYINT , BYTEINT 型で返します。
使用上の注意¶
関数名が指定された場合、トークン数はその関数が使用するモデルに基づいてカウントされます。
関数名を指定する場合は、小文字を使用します。
注釈
COUNT_TOKENS には、Cortex AISQL 関数 を使用する際に入力テキストの先頭に自動的に追加される管理システムプロンプトは含まれません。その結果、 COUNT_TOKENS によって返される値は、これらの関数によって処理された実際のトークン数よりも少なくなります。
例¶
snowflake-arctic
モデルに基づいて、プロンプト what is a large language model?
のトークン数を取得します。
SELECT SNOWFLAKE.CORTEX.COUNT_TOKENS( 'snowflake-arctic', 'what is a large language model?' );
+---+
| 6 |
+---+
SUMMARIZE 関数で使用されたモデルに基づいて、 mytable
の prompt
列の各プロンプトのトークン数を取得します。
SELECT SNOWFLAKE.CORTEX.COUNT_TOKENS('SUMMARIZE', prompt) FROM mydb.myschema.mytable LIMIT 10;
+-----------+
| 1 | 1932 |
+-----------+
| 2 | 2379 |
+-----------+
| 3 | 2185 |
+-----------+
| 4 | 1195 |
+-----------+
| 5 | 2908 |
+-----------+
| 6 | 2601 |
+-----------+
| 7 | 2122 |
+-----------+
| 8 | 1720 |
+-----------+
| 9 | 2512 |
+-----------+
| 10 | 1510 |
+-----------+
翻訳したいテキストのトークン数を取得します。
SELECT SNOWFLAKE.CORTEX.COUNT_TOKENS('translate', 'Dies ist ein kurzer Text.');
+---+
| 9 |
+---+
法的通知¶
Snowflake AI と ML をご参照ください。