プロビジョンドスループット¶

概要¶

Provisioned Throughputを使用して、Snowflake Cortex上で管理された推論用のスループットを確保します。スループットサイズをプロビジョンドスループットユニット (PTU) として指定すると、Cortexは1ヶ月の期間、必要な容量を割り当てます。REST API のコールで PTUs を使用すると、一貫したエンド ユーザー エクスペリエンスが得られます。この関数は、 AWS および Azure クラウドの以下のモデルで利用可能です。

• Mistral Large 2

• Llama 3.1-405B

• Llama 3.1-70B

• Llama 3.1-8B

• Snowflake-Llama3.3-70B

• Snowflake-Llama3.3-405B

アクセス制御の要件¶

ユーザーは、 SNOWFLAKE.CORTEX_USER データベース・ロールに USAGE 権限を付与されたロールを、 PT ID に使用する必要があります。この権限の詳細については、 権限 をご参照ください。

GRANT CREATE PROVISIONED THROUGHPUT ON ACCOUNT TO ROLE <role>

GRANT USAGE ON PROVISIONED THROUGHPUT <pt_id> TO ROLE <role>

最低提供スループット・ユニット要件¶

プロビジョニングされたスループットは、最小要件および増分 PTU 要件に従います。最小 PTUs 列の各モデルまたは機能には、リクエストしなければならない最小 PTUs 数が表示されます。PTUs の数が最小値より少ない場合、リクエストは却下されます。

モデルの最小値 PTUs を超えるスループットが必要な場合は、 PTUs を追加する必要があります。インクリメント PTUs 列には、リクエスト可能な最小 PTUs を超える PTU のインクリメントが表示されます。リクエストは、最小値を超える量が増分値の整数倍となるように、 PTUs を指定しなければなりません。そうでない場合、リクエストは拒否されます。

下のテーブルは、利用可能モデル、各モデルに必要な最小の PTUs、最小を超える追加 PTUs のインクリメント要件のリストです。

PTU サイズの決定¶

アプリケーションに必要な PTUs は、ワークロードプロファイルによって異なります。例えば、Llama 3.1-8Bでは、毎分500リクエスト (RPM) 、リクエスト出力あたり500トークンのワークロードは、最小64 PTUs です。毎分 960K のトークンを処理します。より多くのスループットが必要な場合は、 PTUs を 32 個単位で追加リクエストできます。

最初のうちは、モデルの最小値 (PTUs) を使用し、必要に応じて増分を追加できます。

コストの考慮事項¶

Provisioned Throughput の期間中、 Snowflake クレジット消費テーブル にリストされている割合で、毎時 PTU ごとクレジットが消費されます。期間中の実際の使用量にかかわらず、割り当てられた PTUs の料金が発生します。期間は午前8時に始まり、午前8時に終わります。プロビジョニングされたスループット作成でプロバイダーに提供された日付に対する PT。

プロビジョニングされたスループットは自動更新されません。別の期間のスループットを予約するには、次のセクションを参照してください。

スループットの予約¶

このチュートリアルでは、Cortexの COMPLETE 関数の REST API 呼び出しで、プロビジョニングされたスループットを予約および使用するプロセスについて説明します。

CREATE PROVISIONED THROUGHPUT my_pt CLOUD_PROVIDER='aws', MODEL='llama3.1-8B', PTUS=64, TERM_START='2025-04-15' TERM_END='2025-05-15'

DESCRIBE PROVISIONED THROUGHPUT my_pt

curl --location 'https://some-account-identifier.snowflakecomputing.com/api/v2/cortex/inference:complete' \
--header 'X-Snowflake-Authorization-Token-Type: KEYPAIR_JWT' \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header 'Authorization: ••••••' \
--data '{
  "model": "snowflake-llama-3.1-8b",
  "messages": [
  {
      "content": "Write an essay on the benefits of provisioned throughput."
  }
  ],
  "provisioned_throughput_id": "f3a27d60-f61f-4247-8aa3-6272ea0d7a8d"
}'