Cortex LLM REST API¶

Hinweise zu Kosten¶

Snowflake Cortex LLM REST API-Anfragen verursachen Kosten, die sich nach der Anzahl der verarbeiteten Token richten. Die Kosten für jede Funktion in Credits pro Million Token finden Sie in der Snowflake Service Consumption Table. Ein Token ist die kleinste Texteinheit, die von den Snowflake Cortex-LLM-Funktionen verarbeitet wird, und entspricht etwa vier Textzeichen. Das Verhältnis des ein-/ausgegebene Rohtextes zur Tokenanzahl kann je nach Modell variieren.

Die Funktion COMPLETE erzeugt neuen Text nach einer Eingabeaufforderung. Sowohl für Eingabe- als auch für Ausgabe-Token fallen Computekosten an. Wenn Sie COMPLETE verwenden, um ein Konversations- oder Chat-Benutzererlebnis zu bieten, werden alle vorherigen Aufforderungen und Antworten verarbeitet, um jede neue Antwort zu generieren, mit entsprechenden Kosten.

Nutzungskontingente¶

Um einen hohen Leistungsstandard für alle Snowflake-Kunden sicherzustellen, unterliegen die Snowflake Cortex-LLMRESTAPI-Anfragen Nutzungskontingenten, bei deren Überschreitung Anfragen gedrosselt werden können. Snowflake kann diese Kontingente von Zeit zu Zeit anpassen. Die Quoten in der folgenden Tabelle gelten pro Konto und werden für jedes Modell separat angewendet.

COMPLETE-Endpunkt¶

Der /api/v2/cortex/inference:complete Endpunkt führt die SQL COMPLETE-Funktion aus. Hat die Form:

POST https://<account_identifier>.snowflakecomputing.com/api/v2/cortex/inference:complete

wobei account_identifier der Kontobezeichner ist, den Sie für den Zugriff auf Snowsight verwenden.

Einrichten der Authentifizierung¶

Die Authentifizierung gegenüber die Cortex LLM REST API verwendet Schlüsselpaar-Authentifizierung. Dazu ist es erforderlich, ein Schlüsselpaar RSA zu erstellen und den öffentlichen Schlüssel einem Benutzer zuzuweisen. Dies muss mit der Rolle SECURITYADMIN (oder einer anderen Rolle, der SECURITYADMIN zugewiesen wurde, wie ACCOUNTADMIN) geschehen. Eine schrittweise Anleitung finden Sie unter Konfigurieren der Schlüsselpaar-Authentifizierung.

Um API-Anfragen zu stellen, verwenden Sie den öffentlichen Schlüssel, um ein JSON-Web-Token (JWT) zu erstellen und es in den Headern der Anfrage zu übergeben.

Festlegen der Autorisierung¶

Sobald Sie ein Schlüsselpaar erstellt und dessen öffentlichen Schlüssel einem Benutzer zugewiesen haben, muss die Standardrolle dieses Benutzers die Datenbankrolle snowflake.cortex_user haben, die die Berechtigungen zur Nutzung der LLM-Funktionen enthält. In den meisten Fällen verfügen die Benutzer bereits über diese Berechtigung, da sie der Rolle PUBLIC automatisch erteilt wird und alle Rollen PUBLIC erben.

Wenn Ihr Snowflake-Administrator es vorzieht, einzelne Benutzer zuzulassen, hat er möglicherweise der Rolle PUBLIC die Rolle snowflake.cortex_user widerrufen und muss diese Rolle den Benutzern, die den Cortex LLM REST API verwenden können sollen, wie folgt zuweisen.

GRANT DATABASE ROLE snowflake.cortex_user TO ROLE MY_ROLE;
GRANT ROLE MY_ROLE TO USER MY_USER;

ALTER USER MY_USER SET DEFAULT_ROLE=MY_ROLE

Übermitteln von Anforderungen¶

Sie stellen eine Anfrage an die Cortex LLM REST-API über POSTing an den REST-Endpunkt der API. Der Header von Authorization muss ein JSON-Web-Token enthalten, das aus Ihrem öffentlichen Schlüssel generiert wurde. Dies können Sie mit snowsql über den folgenden Befehl tun. Der generierte JWT läuft nach einer Stunde ab.

snowsql -a <account_identifier> -u <user> --private-key-path <path>/rsa_key.p8 --generate-jwt

Der Body der Anfrage ist ein JSON-Objekt, das das Modell, den Verlauf der Eingabeaufforderung oder des Gesprächs und die Optionen angibt. Weitere Informationen finden Sie unter der folgenden API-Referenz.

API-Referenz¶

Beispiel¶

Das folgende Beispiel verwendet curl, um eine COMPLETE-Anfrage zu stellen. Ersetzen Sie jwt, prompt und account_identifier durch die entsprechenden Werte in diesem Befehl.

curl -X POST \
    -H 'X-Snowflake-Authorization-Token-Type: KEYPAIR_JWT' \
    -H "Authorization: Bearer <jwt>" \
    -H 'Content-Type: application/json' \
    -H 'Accept: application/json, text/event-stream' \
    -d '{
    "model": "mistral-large",
    "messages": [
        {
            "content": "<prompt>"
        }
    ],
    "top_p": 0,
    "temperature": 0
    }' \
https://<account_identifier>.snowflakecomputing.com/api/v2/cortex/inference:complete

data: {
data:  "id": "65c5e2ac-529b-461e-8a8c-f80655e6bd3f",
data:  "created": 1723493954,
data:  "model": "mistral-7b",
data:  "choices": [
data:    {
data:      "delta": {
data:        "content": "Cor"
data:        }
data:      }
data:     ],
data:  "usage": {
data:    "prompt_tokens": 57,
data:    "completion_tokens": 1,
data:    "total_tokens": 58
data:  }
data: }

data: {
data:  "id": "65c5e2ac-529b-461e-8a8c-f80655e6bd3f",
data:  "created": 1723493954,
data:  "model": "mistral-7b",
data:  "choices": [
data:    {
data:      "delta": {
data:        "content": "tex"
data:        }
data:      }
data:     ],
data:  "usage": {
data:    "prompt_tokens": 57,
data:    "completion_tokens": 2,
data:    "total_tokens": 59
data:  }
data: }

Python API¶

Um die Python-API zu installieren, verwenden Sie:

pip install snowflake-ml-python

Die Python-API ist ab Version 1.6.1 im snowflake-ml-python-Paket enthalten.

from snowflake.snowpark import Session
from snowflake.cortex import Complete

session = Session.builder.configs(...).create()

stream = Complete(
  "mistral-7b",
  "What are unique features of the Snowflake SQL dialect?",
  session=session,
  stream=True)

for update in stream:
  print(update)