Kategorien:

Zeichenfolgen- und Binärfunktionen (AI-Funktionen)

COUNT_TOKENS (SNOWFLAKE.CORTEX)

Gibt die Anzahl der Token in einer Eingabeaufforderung für das große Sprachmodell (Large Language Model) oder die im Argument angegebene aufgabenspezifische Funktion zurück. Diese Funktion unterstützt Fine-Tuning-Modelle nicht.

Bemerkung

Wir arbeiten an einer genaueren Schätzung der Token-Anzahl für Funktionen wie „ai_classify“ und „ai_filter“.

Syntax

SNOWFLAKE.CORTEX.COUNT_TOKENS( <model_name> , <input_text> )
Copy

Argumente

Benötigt:

model_name

Name des Modells, auf dem die Token-Zählung basieren soll. Geben Sie einen der folgenden Werte an:

  • deepseek-r1

  • e5-base-v2

  • e5-large-v2

  • gemma-7b

  • jamba-1.5-large

  • jamba-1.5-mini

  • jamba-instruct

  • llama2-70b-chat

  • llama3-70b

  • llama3-8b

  • llama3.1-405b

  • llama3.1-70b

  • llama3.1-8b

  • llama3.2-1b

  • llama3.2-3b

  • llama3.3-70b

  • llama4-maverick

  • llama4-scout

  • mistral-7b

  • mistral-large

  • mistral-large2

  • mixtral-8x7b

  • nv-embed-qa-4

  • reka-core

  • reka-flash

  • snowflake-arctic-embed-l-v2.0

  • snowflake-arctic-embed-m-v1.5

  • snowflake-arctic-embed-m

  • snowflake-arctic

  • snowflake-llama-3.1-405b

  • snowflake-llama-3.3-70b

  • voyage-multilingual-2

input_text

Eingabetext, in dem die Token gezählt werden sollen.

Rückgabewerte

Gibt einen INT , INTEGER , BIGINT , SMALLINT , TINYINT , BYTEINT Typ zurück, der die Anzahl der Token im Eingabetext basierend auf dem angegebenen Modell oder der angegebenen Funktion angibt.

Nutzungshinweise

  • Wenn ein Funktionsname angegeben wird, basiert die Anzahl der Token auf dem Modell, das von der Funktion verwendet wird.

  • Verwenden Sie Kleinbuchstaben in Funktionsnamen.

Bemerkung

COUNT_TOKENS berücksichtigt nicht den verwalteten System-Prompt, der bei Verwendung einer Cortex-AISQL-Funktionen automatisch am Anfang des Eingabetextes eingefügt wird. Infolgedessen ist der von COUNT_TOKENS zurückgegebene Wert niedriger als die tatsächliche Anzahl der von diesen Funktionen verarbeiteten Token.

Beispiele

Im folgenden Beispiel wird die Anzahl der Token für die angegebene Eingabeaufforderung anhand des llama3.1-70b-Modells zurückgegeben:

SELECT SNOWFLAKE.CORTEX.COUNT_TOKENS( 'llama3.1-70b', 'what is a large language model?' );
Copy
+---+
| 6 |
+---+
Sprache: Deutsch