Bereitgestellter Durchsatz¶

Übersicht¶

Verwenden Sie bereitgestellten Durchsatz, um Durchsatz für verwaltete Inferenzen auf Snowflake Cortex zu reservieren. Sie geben die Durchsatzgröße als bereitgestellte Durchsatzeinheiten (PTU) an, und Cortex weist die erforderliche Kapazität für einen Monat zu. Sie können die PTUs in Ihren REST API-Aufrufen verwenden, um eine einheitliche Benutzererfahrung zu gewährleisten. Die Funktionalität ist für die folgenden Modelle in den AWS- und Azure-Clouds verfügbar:

• Mistral Large 2

• Llama 3.1-405B

• Llama 3.1-70B

• Llama 3.1-8B

• Snowflake-Llama3.3-70B

• Snowflake-Llama3.3-405B

Anforderungen an die Zugriffssteuerung¶

Benutzer müssen eine Rolle verwenden, der die Datenbankrolle SNOWFLAKE.CORTEX_USER mit der Berechtigung USAGE auf der PT ID zugewiesen wurde. Weitere Informationen zu dieser Berechtigung finden Sie unter Berechtigungen.

GRANT CREATE PROVISIONED THROUGHPUT ON ACCOUNT TO ROLE <role>

GRANT USAGE ON PROVISIONED THROUGHPUT <pt_id> TO ROLE <role>

Mindestanforderungen für bereitgestellte Durchsatzeinheiten¶

Der bereitgestellte Durchsatz unterliegt den Mindestanforderungen und den inkrementellen Anforderungen an PTU. Jedes Modell oder Feature in der Spalte Minimum PTUs gibt die Mindestanzahl von PTUs an, die Sie anfordern müssen. Wenn Sie weniger PTUs als die Mindestanzahl anfordern, wird Ihre Anfrage abgelehnt.

Wenn Sie mehr Durchsatz benötigen als das Mindestangebot an PTUs für das Modell, benötigen Sie zusätzliche PTUs. Die Spalte Inkrement PTUs zeigt die PTU-Inkremente, die über das Minimum an PTUs hinausgehen und die Sie anfordern können. Anfragen müssen PTUs so angeben, dass der Betrag, der das Minimum übersteigt, ein ganzzahliges Vielfaches der Schrittweite ist; andernfalls wird die Anfrage abgelehnt.

In der nachstehenden Tabelle finden Sie die verfügbaren Modelle, die für jedes Modell erforderliche Mindestanzahl von PTUs und die Anforderungen für zusätzliche PTUs über die Mindestanzahl hinaus.

Bestimmen Sie die PTU-Größe¶

Die für Ihre Anwendung erforderliche PTUs hängt von dem Workload-Profil ab. Zum Beispiel hat auf Llama 3.1-8B eine Workload mit 500 Anfragen pro Minute (RPM) und 500 Token pro Anfrage ein Minimum von 64 PTUs. Es liefert einen Durchsatz von 960K Token pro Minute. Wenn Sie mehr Durchsatz benötigen, können Sie zusätzliche PTUs in 32er-Schritten anfordern.

Wenn Sie anfangen, können Sie das Minimum an PTUs für das Modell verwenden und nach Bedarf weitere Schritte hinzufügen.

Hinweise zu Kosten¶

Für die Dauer der Laufzeit Ihres bereitgestellten Durchsatzes verbrauchen Sie Credits pro PTU pro Stunde mit der Rate, die in der Snowflake Credit Consumption Table aufgeführt ist. Die Gebühren für die zugewiesene PTUs fallen unabhängig von Ihrer tatsächlichen Nutzung während der Laufzeit an. Der Zeitraum beginnt und endet um 8:00 Uhr morgens. PT für die Daten, die bei der Erstellung des bereitgestellten Durchsatzes angegeben wurden.

Der bereitgestellte Durchsatz wird nicht automatisch verlängert. Um den Durchsatz für einen anderen Zeitraum zu reservieren, lesen Sie den folgenden Abschnitt.

Durchsatz reservieren¶

Dieses Tutorial führt Sie durch den Prozess der Reservierung und Verwendung von bereitgestelltem Durchsatz in einem REST API-Aufruf für die Funktion Cortex COMPLETE.

CREATE PROVISIONED THROUGHPUT my_pt CLOUD_PROVIDER='aws', MODEL='llama3.1-8B', PTUS=64, TERM_START='2025-04-15' TERM_END='2025-05-15'

DESCRIBE PROVISIONED THROUGHPUT my_pt

curl --location 'https://some-account-identifier.snowflakecomputing.com/api/v2/cortex/inference:complete' \
--header 'X-Snowflake-Authorization-Token-Type: KEYPAIR_JWT' \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header 'Authorization: ••••••' \
--data '{
  "model": "snowflake-llama-3.1-8b",
  "messages": [
  {
      "content": "Write an essay on the benefits of provisioned throughput."
  }
  ],
  "provisioned_throughput_id": "f3a27d60-f61f-4247-8aa3-6272ea0d7a8d"
}'