Cortex LLM REST API¶

コストの考慮事項¶

Snowflake Cortex LLM REST API 関数は、処理されたトークンの数に基づいてコンピューティングコストが発生します。100万トークンあたりのクレジット単位での各コストについては、 Snowflakeサービス利用テーブル をご参照ください。トークンは、Snowflake Cortex LLM 関数で処理されるテキストの最小単位で、テキストの4文字にほぼ同じです。トークンに相当する生の入力または出力テキストは、モデルによって異なる場合があります。

COMPLETE 関数は、入力プロンプトから新しいテキストを生成します。入力トークンも出力トークンもコンピューティングコストがかかります。会話やチャットのユーザー体験を提供するために COMPLETE を使用する場合、以前のすべてのプロンプトと応答が、対応するコストを伴って、それぞれの新しい応答を生成するために処理されます。

使用量のクォータ¶

すべてのSnowflakeのお客様に高水準のパフォーマンスを保証するために、Snowflake Cortex LLM REST API 関数には使用量のクォータが設定されており、これを超えるとリクエストが制限される場合があります。Snowflakeはこれらのクォータを随時調整する可能性があります。下表のクォータはアカウントごとに適用され、モデルごとに独立して適用されます。

COMPLETE エンドポイント¶

/api/v2/cortex/inference:complete エンドポイントは SQL COMPLETE 関数を実行します。 account_identifier は、Snowsightへのアクセスに使用する アカウント識別子 の形式を取ります。

POST https://<account_identifier>.snowflakecomputing.com/api/v2/cortex/inference:complete

ここで、 account_identifier は、Snowsightへのアクセスに使用する アカウント識別子 です。

認証の設定¶

Cortex LLM REST API への認証には、 キーペア認証 を使用します。これには、 RSA キーペアを作成し、その公開キーをユーザーに割り当てる必要があります。これは、 SECURITYADMIN ロール（または、 ACCOUNTADMIN など、 SECURITYADMIN を付与された別のロール）を使用して行う必要があります。ステップバイステップの手順については、 キーペア認証の構成 をご参照ください。

API リクエストを行うには、公開キーを使って JSON Webトークン （JWT）を作成し、 リクエスト のヘッダーに渡します。

認証の設定¶

キーペアを作成し、その公開キーをユーザーに割り当てたら、そのユーザーの既定のロールには、 LLM 関数を使用する権限を含む snowflake.cortex_user データベースロールが必要です。ほとんどの場合、ユーザーはすでにこの権限を持っています。なぜなら、この権限は PUBLIC ロールに自動的に付与され、すべてのロールが PUBLIC を継承するからです。

Snowflake管理者が個々のユーザーをオプトインすることを好む場合、管理者は PUBLIC から snowflake.cortex_user を取り消している可能性があり、以下のようにCortex LLM REST API を使用できるようにするユーザーにこのロールを付与する必要があります。

GRANT DATABASE ROLE snowflake.cortex_user TO ROLE MY_ROLE;
GRANT ROLE MY_ROLE TO USER MY_USER;

ALTER USER MY_USER SET DEFAULT_ROLE=MY_ROLE

リクエストの送信¶

Cortex LLM REST API へのリクエストは、 API の REST エンドポイントに POSTing することで行います。 Authorization ヘッダーには、あなたの公開キーから生成された JSON Webトークンを含める必要があります。これは、 snowsql を使用して、以下のコマンドで実行できます。生成された JWT は1時間後に失効します。

snowsql -a <account_identifier> -u <user> --private-key-path <path>/rsa_key.p8 --generate-jwt

リクエストボディは、モデル、プロンプトまたは会話履歴、およびオプションを指定する JSON オブジェクトです。詳しくは以下の API リファレンスをご参照ください。

API 参照情報¶

例¶

以下の例では、 curl を使って COMPLETE リクエストを行っています。 jwt、 prompt、 account_identifier をこのコマンドの適切な値に置き換えます。

curl -X POST \
    -H 'X-Snowflake-Authorization-Token-Type: KEYPAIR_JWT' \
    -H "Authorization: Bearer <jwt>" \
    -H 'Content-Type: application/json' \
    -H 'Accept: application/json, text/event-stream' \
    -d '{
    "model": "mistral-large",
    "messages": [
        {
            "content": "<prompt>"
        }
    ],
    "top_p": 0,
    "temperature": 0
    }' \
https://<account_identifier>.snowflakecomputing.com/api/v2/cortex/inference:complete

data: {
data:  "id": "65c5e2ac-529b-461e-8a8c-f80655e6bd3f",
data:  "created": 1723493954,
data:  "model": "mistral-7b",
data:  "choices": [
data:    {
data:      "delta": {
data:        "content": "Cor"
data:        }
data:      }
data:     ],
data:  "usage": {
data:    "prompt_tokens": 57,
data:    "completion_tokens": 1,
data:    "total_tokens": 58
data:  }
data: }

data: {
data:  "id": "65c5e2ac-529b-461e-8a8c-f80655e6bd3f",
data:  "created": 1723493954,
data:  "model": "mistral-7b",
data:  "choices": [
data:    {
data:      "delta": {
data:        "content": "tex"
data:        }
data:      }
data:     ],
data:  "usage": {
data:    "prompt_tokens": 57,
data:    "completion_tokens": 2,
data:    "total_tokens": 59
data:  }
data: }

Python API¶

Python API をインストールするには、次を使用します。

pip install snowflake-ml-python

Python API はバージョン1.6.1から snowflake-ml-python パッケージに含まれています。

from snowflake.snowpark import Session
from snowflake.cortex import Complete

session = Session.builder.configs(...).create()

stream = Complete(
  "mistral-7b",
  "What are unique features of the Snowflake SQL dialect?",
  session=session,
  stream=True)

for update in stream:
  print(update)