微調整 (Snowflake Cortex)¶

概要¶

Cortex Fine-tuning を使用すると、パラメーター効率の良い微調整（PEFT）を活用して、より専門的なタスクで事前に訓練されたモデルを使用するためのカスタマイズされたアダプタを作成することができます。大規模なモデルをゼロからトレーニングする高いコストはかけたくないが、プロンプトエンジニアリングや検索拡張世代 (RAG) メソッドよりも優れたレイテンシーと結果が必要な場合、既存の大規模モデルを微調整することも選択肢の1つです。微調整では、例を使ってモデルの動作を調整し、ドメイン固有のタスクに関するモデルの知識を向上させることができます。

Cortex Fine-tuning はフルマネージドサービスであり、Snowflake内でお客様のデータを使用して人気のある LLMs を微調整することができます。

Cortex Fine-tuning 機能は、以下の引数を持つSnowflake Cortex関数、 FINETUNE として提供されます。

• CREATE: 与えられたトレーニングデータで微調整ジョブを作成します。

• SHOW: 現在のアカウントにあるすべての微調整ジョブのリスト。

• DESCRIBE: 特定の微調整ジョブの進行状況とステータスを説明します。

• CANCEL: 指定された微調整ジョブをキャンセルします。

コストの考慮事項¶

Snowflake Cortex Snowflake Cortex Fine-tuning 関数は、処理されたトークンの数に基づいてコンピューティングコストが発生します。さらに、微調整されたモデルで AI_COMPLETE 関数を実行すると、処理されるトークン数に応じたコンピューティングコストが発生します。100万トークンあたりのクレジット単位での各コストについては、 Snowflakeサービス利用テーブル をご参照ください。

トークンとは、 Snowflake Cortex Fine-tuning 関数で処理されるテキストの最小単位のことで、およそ4文字のテキストに相当します。トークンに相当する生の入力または出力テキストは、モデルによって異なる場合があります。

• レスポンスに新しいテキストを生成する COMPLETE 関数では、入力と出力の両方のトークンがカウントされます。

• 微調整されたトークンは次のように計算されます。

  Fine-tuning trained tokens = number of input tokens * number of epochs trained
  

  Copy

  FINETUNE ('DESCRIBE') (SNOWFLAKE.CORTEX) を使用して、微調整ジョブのトレーニング済みトークンの数を確認します。

• チューニングと推論料金に加えて、カスタマイズされたアダプターのストレージ と ウェアハウス の標準的なコストがかかり、 SQL コマンドを実行します。

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FINE_TUNING_USAGE_HISTORY;

その他の考慮事項¶

• 微調整のジョブは、多くの場合、長時間実行され、ワークシートセッションには添付されません。

• 訓練/検証データセットの行数は、ベースモデルと訓練エポック数によって制限されます。次の表は、3エポックの限界値を示しています。

  Effective row count limit = 1 epoch limit for base model / number of epochs trained
  

  Copy

  モデル	1エポック	3エポック（デフォルト）
  llama3-8b	186k	62k
  llama3-70b	21k	7k
  llama3.1-8b	150k	50k
  llama3.1-70b	13.5k	4.5k
  mistral-7b	45k	15k
  mixtral-8x7b	27k	9k

アクセス制御の要件¶

微調整ジョブを実行するには、微調整ジョブを作成するロールに以下の権限が必要です。

以下の SQL は、 my_schema 上のロール（my_role）に CREATE MODEL 権限を付与する例です。

GRANT CREATE MODEL ON SCHEMA my_schema TO ROLE my_role;

さらに、FINETUNE関数を使用するには、ACCOUNTADMINロールは、SNOWFLAKECORTEX_USERデータベースロールを関数を呼び出せるユーザーに付与する必要があります。詳細については、 LLM関数で必要な権限 のトピックをご参照ください。

他のロールに微調整されたモデルの使用権を与えるには、そのモデルに対して使用権を与えなければなりません。詳細については、 モデル権限 をご参照ください。

微調整が可能なモデル¶

微調整が可能なベースモデルは以下の通りです。微調整が可能なモデルは、今後追加または削除される可能性があります。

モデルを微調整する方法¶

モデル調整の全体的なワークフローは以下の通りです。

1. トレーニングデータを準備します。

2. 必要なパラメータを指定して微調整ジョブを開始します。

3. トレーニングのモニタリングをします。

トレーニングが完了したら、 Cortex Fine-tuning によって提供されたモデル名を使って、モデルの推論を実行することができます。

SELECT SNOWFLAKE.CORTEX.FINETUNE(
  'CREATE',
  'my_tuned_model',
  'mistral-7b',
  'SELECT a AS prompt, d AS completion FROM train',
  'SELECT a AS prompt, d AS completion FROM validation'
);

USE DATABASE mydb;
USE SCHEMA myschema;

SELECT SNOWFLAKE.CORTEX.FINETUNE(
  'CREATE',
  'my_tuned_model',
  'mistral-7b',
  'SELECT prompt, completion FROM my_training_data',
  'SELECT prompt, completion FROM my_validation_data'
);

SELECT SNOWFLAKE.CORTEX.FINETUNE(
  'CREATE',
  'mydb.myschema.my_tuned_model',
  'mistral-7b',
  'SELECT prompt, completion FROM mydb2.myschema2.my_training_data',
  'SELECT prompt, completion FROM mydb2.myschema2.my_validation_data'
);

微調整したモデルを推論に使用します。¶

COMPLETE LLM関数 を、微調整したモデルの名前と一緒に使って推論してください。

この例では、微調整したモデルの名前で COMPLETE 関数を呼び出しています。

SELECT SNOWFLAKE.CORTEX.COMPLETE(
  'my_tuned_model',
  'How to fine-tune mistral models'
);

以下は呼び出し例からの出力のスニペットです。

Mistral models are a type of deep learning model used for image recognition and classification. Fine-tuning a Mistral model involves adjusting the model's parameters to ...

制限事項と既知の問題¶

• 微調整ジョブはアカウントレベルでのみリスト可能です。

• FINETUNE ('SHOW') (SNOWFLAKE.CORTEX) から返される微調整ジョブは永続的なものではなく、定期的に廃棄処分される可能性があります。

• ベースモデルがCortex LLM 関数から削除された場合、微調整したモデルは機能しなくなります。

モデルの共有¶

微調整したモデルは、 データ共有 を介して、 USAGE 権限を持つ他のアカウントと共有することができます。

モデルの複製¶

クロスリージョン推論 は微調整モデルをサポートしていません。推論は、モデルオブジェクトがあるのと同じ領域で行われなければなりません。モデルが学習されたリージョンと異なる場合は、データベースの複製を使用して、推論を行いたいリージョンに微調整されたモデルオブジェクトを複製することができます。

たとえば、 AWS US 西部2リージョンのアカウントで、 mistral-7b に基づいて微調整されたモデルを作成した場合、データ共有を使用してこのリージョンの別のアカウントと共有したり、データベースレプリケーションを使用して、 AWS ヨーロッパ西部など、 mistral-7b モデルをサポートする別のリージョンにある組織の別のアカウントにモデルを複製したりすることができます。オブジェクトの複製に関する詳細は、 複数のアカウント間にわたるデータベースとアカウントオブジェクトの複製 をご参照ください。

法的通知¶

インプットとアウトプットのデータ分類は以下の表の通りです。

詳細については、 Snowflake AI と ML をご参照ください。