大規模言語モデル（LLM）関数（Snowflake Cortex）¶

必要な権限¶

SNOWFLAKE データベースの CORTEX_USER データベースロールには、ユーザーがSnowflake Cortex LLM 関数を呼び出すことを許可する権限が含まれています。デフォルトでは、このデータベースロールは ACCOUNTADMIN ロールにのみ付与されます。ユーザーがCortex LLM 関数にアクセスできるようにするには、ACCOUNTADMIN がこのロールをユーザーロールに伝播させる必要があります。

SNOWFLAKE.CORTEX_USER データベースロールをユーザーに直接付与することはできません。ACCOUNTADMIN ロールを持つユーザーは、まずアカウントロールにそのロールを付与し、次にそのアカウントロールをユーザーに付与する必要があります。詳細については、 SNOWFLAKE データベースの使用 をご参照ください。

以下の例では、 ACCOUNTADMIN を想定し、この目的のために作成したアカウントロール cortex_user_role を介して、ユーザー some_user に CORTEX_USER データベースロールを付与します。

USE ROLE ACCOUNTADMIN;

CREATE ROLE cortex_user_role;
GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE cortex_user_role;

GRANT ROLE cortex_user_role TO USER some_user;

また、特定のユーザーグループが一般的に使用する既存のロールを使用して、Snowflake Cortex LLM の機能へのアクセスを付与することもできます。（ユーザーのロール を参照。）例えば、組織内のアナリストが既定のロールとして使用する analyst ロールを作成した場合、これらのユーザーにSnowflake Cortex LLM 関数へのアクセスを GRANT ステートメント1つで簡単に付与することができます。

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE analyst;

PUBLIC 擬似ロールはすべてのユーザーとロールに自動的に付与されるため、 cortex_user_role を PUBLIC に付与すると、アカウント内のすべてのユーザーがSnowflake Cortex LLM 関数を使用できるようになります。

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE PUBLIC;

可用性¶

Snowflake Cortex LLM 関数は、現在以下のリージョンで利用可能です。

コストの考慮事項¶

Snowflake Cortex LLM 関数は、処理されたトークンの数に基づいてコンピュートコストが発生します。以下の表は、各関数の100万トークンあたりのクレジットコストを示しています。

• レスポンスで新しいテキストを生成する関数（COMPLETE、SUMMARIZE、TRANSLATE）では、入力と出力の両方のトークンがカウントされます。

• 入力から情報を抽出するだけの関数（EXTRACT_ANSWERとSENTIMENT）では、入力トークンのみがカウントされます。

• EXTRACT_ANSWER の場合、請求可能トークン数は from_text フィールドと question フィールドのトークン数の合計です。

コンピュートコストに関する一般情報については、 コンピューティングコストについて をご参照ください。

Snowflake Cortex LLM 関数の使用は、Snowflake Organization使用状況の METERING_DAILY_HISTORY ビューに AI_SERVICES のサービスタイプで表示されます。組織内の全アカウントの AI サービスのクレジット消費量を表示するには、以下のクエリを使用します。

SELECT * FROM SNOWFLAKE.ORGANIZATION_USAGE.METERING_DAILY_HISTORY
    WHERE service_type ILIKE '%ai_services%';

使用量のクォータ¶

すべてのSnowflakeのお客様に高水準のパフォーマンスを保証するために、Snowflake Cortex LLM 関数には使用量のクォータが設定されており、これを超えるとリクエストが制限される場合があります。Snowflakeはこれらのクォータを随時調整する可能性があります。下にある表のクォータはアカウントごとに適用されます。

コスト管理とスロットリング¶

このプレビュー期間中、SnowflakeではSnowflake Cortex LLM 関数を呼び出す際に、MEDIUM 以下のウェアハウスサイズを使用することを推奨します。必要以上に大規模なウェアハウスを使用してもパフォーマンスは向上しませんが、不必要なコストがかかり、スロットリングのリスクも高くなります。この推奨事項は、今後の製品アップデートにより適用されなくなる可能性があります。

モデルの制限¶

Snowflake Cortexで使用されるモデルには、以下の表に示すようにサイズに制限があります。サイズはトークンで表示されています。トークンは一般的に単語に対応しますが、すべてのトークンが単語になるわけではないため、制限に対応する単語数はトークンの数より若干少なくなります。制限値を超える入力はエラーになります。

モデルの選択¶

Snowflake Cortex COMPLETE 関数は、能力、遅延、コストの異なる複数のモデルをサポートしています。これらのモデルは、一般的な顧客のユースケースに合わせて慎重に選択されています。 クレジットあたりのパフォーマンス で最高の状態を達成するには、コンテンツのサイズとタスクの複雑さに適したモデルを選択します。以下は、利用可能なモデルの簡単な概要です。

• mistral-large は、さまざまな指標（下表参照）で高得点を獲得するトップクラスのモデルです。これは32,000トークン（約24,000語）のコンテキストウィンドウを備えており、長時間の会話でも複雑な推論を行うことができます。また、Snowflake Cortexが提供するモデルの中で最もコンピュートの負荷が高く、そのため実行コストも最も高くなります。

• mixtral-8x7b は、32,000トークンのコンテキスト長をサポートしながら、低遅延で高品質な結果を提供します。これは、多くの企業での実稼働ユースケースに最適です。

• llama2-70b-chat は、データの抽出や職務内容の作成など、適度な推論を必要とする複雑で大規模なタスクに適してます。

• mistral-7b と gemma-7b は、単純作業を素早く、より優れたコスト効率で実行できます。

  • mistral-7b は、小規模なカスタマイズを必要とする、最も単純な要約や分類のタスクに最適です。その32,000トークン制限により、複数ページのテキストを処理することができます。

  • gemma-7b は、単純なコードやテキストの補完タスクに適しています。コンテキストウィンドウのトークンは8,000ですが、その制限内で驚くほどの能力を発揮し、費用対効果もかなり高いです。

何から始めたらいいかわからない場合は、すでに他のトップクラスのモデルを使用している場合でも、初めて LLMs を使用する場合でも、まずは mistral-large を試してみてください。このモデルは、Snowflake Cortexが提供する最も幅広い能力を持つモデルであり、最先端のモデルで何ができるかを知ることができます。その結果は、他のモデルを評価する際のベースラインとして使うことができます。

以下の表は、人気モデルが各種ベンチマークでどのようなパフォーマンスを発揮するかについての情報を示しており、Snowflake Cortex COMPLETE が提供するモデルや他のいくつかの人気モデルが含まれています。

^*比較のために提供。Snowflake Cortex COMPLETE では利用できません。

LLM 関数概要¶

エラー条件¶

Snowflake Cortex LLM 関数は以下のエラーメッセージを生成する可能性があります。

PythonでのSnowflake Cortex LLM 関数の使用¶

Snowflake Cortex LLM 関数は、 Snowpark ML バージョン1.1.2以降で使用できます。Snowpark ML の設定方法については、 Snowpark ML のインストール をご参照ください。

PythonスクリプトをSnowflakeの外で実行する場合、これらの関数を使用するにはSnowparkセッションを作成する必要があります。手順については、 Snowflakeへの接続 をご参照ください。

次のPythonの例では、単一の値に対してSnowflake Cortex LLM 関数を呼び出しています。

from snowflake.cortex import Complete, ExtractAnswer, Sentiment, Summarize, Translate

text = """
    The Snowflake company was co-founded by Thierry Cruanes, Marcin Zukowski,
    and Benoit Dageville in 2012 and is headquartered in Bozeman, Montana.
"""

print(Complete("llama2-70b-chat", "how do snowflakes get their unique patterns?"))
print(ExtractAnswer(text, "When was snowflake founded?"))
print(Sentiment("I really enjoyed this restaurant. Fantastic service!"))
print(Summarize(text))
print(Translate(text, "en", "fr"))

以下のように、テーブルの列に対して LLM 関数を呼び出すこともできます。この例では、セッションオブジェクト（session に格納）と、テキスト列 abstract_text を含むテーブル articles を必要とし、要点の抜粋を含む新しい列 abstract_summary を作成します。

from snowflake.cortex import Summarize
from snowflake.snowpark.functions import col

article_df = session.table("articles")
article_df = article_df.withColumn(
    "abstract_summary",
    Summarize(col("abstract_text"))
)
article_df.collect()

法的通知¶

Snowflake Cortex LLM 関数には、Metaの LLaMA 2を含む、機械学習テクノロジーが搭載されています。基礎 LLaMA 2モデルは、 LLaMA 2コミュニティライセンス の下にライセンスされています。Copyright (c) Meta Platforms, Inc.All Rights Reserved.LLama 2モデルに基づくいかなる LLM 関数の使用も、Metaの 利用規定 に従うものとします。

機械学習技術と提供される結果は、不正確、不適切であったり、偏っていたりする可能性があります。自動パイプラインに組み込まれたものも含め、機械学習の出力に基づく決定には、モデルが生成したコンテンツが正確であることを保証するために、人間によるモニタリングとレビュープロセスが必要です。

LLM 関数クエリは他の SQL クエリと同様に扱われ、 メタデータ とみなされる可能性があります。

詳細については、 Snowflake AI の信頼と安全 FAQ をご参照ください。