Cortex LLM Playground

Cortex LLM Playgroundを使うと、Cortex AI で利用可能な複数の大規模言語モデル間でテキスト補完を比較できます。言語モデルの応答をプロンプトやモデル設定を変えてテストし、モデル出力を並べて比較することができます。数回クリックするだけで、モデルをSnowflakeテーブルに接続して、データを直接実験することもできます。Cortex LLM Playgroundは、ユースケースについてどの言語モデルを本番環境にデプロイするかを決定する前に、異なる言語モデルがどのように動作するかを簡単にテストできるように設計されています。

Cortex LLM Playgroundは、アカウントのリージョンで利用可能な COMPLETE 関数のすべてのモデルに対応しています。モデルの全リストについては、 モデルの可用性 をご参照ください。

必要な権限

Cortex LLM Playgroundには、Snowflake Cortex LLM 関数を呼び出す権限を含む CORTEX_USER データベースロールが必要です。詳細については、 必要な権限 をご参照ください。

Cortex LLM Playgroundを始める

Cortex LLM Playgroundは、 Snowflake AI & ML Studioからアクセスできます。スタジオには、以下のように、 Snowsight からアクセスできます。

  1. Snowsight にサインインします。

  2. ナビゲーションメニューで AI & ML » Studio を選択します。Cortex LLM Playgroundは、他のStudio関数と一緒に表示されます。

    Cortexプレイグラウンドボックス

  3. プレイグラウンドを開くには、 Try を選択します。

言語モデルを使ったプロンプトのテスト

Cortex LLM Playground を使用して、さまざまな言語モデルのプロンプトをテストします。

  1. ウェアハウスを選択します。このウェアハウスは、 COMPLETE 関数を呼び出す SQL コマンドを実行するために使用されます。

  2. 上部のドロップダウンメニューからモデルを選択します。ドロップダウンメニューには、使用するアカウントのリージョンで利用可能なモデルのみが表示されます。

    Cortexプレイグラウンドモデルのリスト。

  3. プロンプトボックスにプロンプトを入力し、Enter を選択します。

  4. プロンプトボックスの上にモデル出力が表示されます。 View Code を選択すると、プロンプトの処理に使用された SQL コマンドを表示およびコピーできます。

別のプロンプトまたはモデルを試すには、希望のモデルを選択し、プロンプトボックスに新しいプロンプトを入力し、Enter を選択します。

モデル出力の比較

プロンプトの出力を2つの異なるモデル間、または同じモデルの2つの異なるセット間で比較するには、 Compare 機能を使用します。

2つのモデルの比較

  1. 右上の Compare を選択します。

  2. 左右のドロップダウンメニューで、2つのパネルに異なるモデルを選択します。

  3. Compare の横にある Change settings 設定ボタンを開きます。 を選択して、設定パネルを開きます。

  4. 2つのモデルで同じ設定を使用するには、 Sync トグルを選択します。

  5. プロンプトを入力し、Enter を選択します。選択したモデルの出力が左右に表示されます。

1つのモデルのセットの比較

  1. 右上の Compare を選択します。

  2. 2つのパネルに同じモデルを選択します。

  3. Compare の横にある Change settings 設定ボタンを開きます。 を選択して、設定パネルを開きます。

  4. temperature、 top_p、 max_tokens の各タブで異なる設定を選択し、異なるモデル設定で言語モデルの応答がどのように変化するかを比較します。これらのパラメーターの詳細については、 COMPLETE （SNOWFLAKE.CORTEX） をご参照ください。

  5. また、 Enable Cortex Guard をチェックして、不適切または安全でない可能性のある大規模言語モデル（LLM）応答をフィルタリングするセーフガードを実装することもできます。Cortex Guardの詳細については、 Cortex Guard をご参照ください。

  6. プロンプトを入力し、Enter を選択します。各セットの設定に対するモデルからの出力が左右に表示されます。

Snowflakeテーブルへの接続

テキスト補完でテストしたいテキストデータのあるSnowflakeテーブルにモデルを接続することができます。

注釈

選択できる列は1列のみです。Cortex LLM Playgroundは最大100行を返します。

  1. プロンプトボックスで + Connect your data ボタンを選択します。

  2. ドロップダウンメニューからSnowflakeデータソースを選択します。

  3. テストしたいテキストデータのある列を選択します。

  4. フィルターとして使用する列を選択します。この列を使用して、データソースから記録を選択できます。

  5. Done を選択します。

  6. プロンプトボックスの Select <filter column> フィールドを使用して、データソースから記録を選択します。記録を選択するには、スクロールするか、テキストデータから用語を検索します。検索するには、検索ボックスに用語を入力します。以下の例は、 ID という名前のフィルター列を示しています。この例では、特定の ID 番号を検索したり、文字列を入力したりしてテキストデータと一致させることができます。

    Cortexプレイグラウンドの接続データ。

  7. System Prompt を入力し、Enter を選択すると、モデルの応答が表示されます。システムプロンプトは、入力テキストの処理方法をモデルに指示します。例えば、選択されたテキストを要約したり、そこからキーワードを引き出したりするようなモデルが必要かもしれません。

セットの制御

モデル設定を調整して、 temperature、 top_p、 max_tokens の異なる設定をプロバイダーとして提供した場合に、言語モデルの応答がどのように変化するかを比較することができます。不適切または安全でない可能性のある応答をフィルタリングするセーフガードを実装するには、設定パネルで Enable Cortex Guard を選択します。

これらの設定が言語モデルの応答にどのような影響を与える可能性があるかについては、 温度およびトークンの制御 ページをご参照ください。

  1. Change settings 設定ボタンを開きます。 を選択し、右上の設定メニューを開きます。

  2. 値を調整する場合は、設定のチェックボックスをオンにします。

    Cortexプレイグラウンドモデルの設定。

  3. 異なる設定でプロンプトを試してみてください。

SQL クエリのエクスポート

Cortex LLM Playgroundで定義した温度などの設定を含む SQL クエリを取得するには、任意のモデル応答の後に View Code を選択します。表示されたコードは、 ワークシート または ノートブック から実行したり、 ストリームとタスク を使用して連続実行を自動化したりすることができます。このコードは 動的テーブル でも使用できます。

注釈

動的テーブルは、 COMPLETE による増分リフレッシュをサポートしていません。

以下の画像は View SQL ダイアログの例です。

接続データのある SQL のエクスポート

例1: モデルをSnowflakeテーブルに接続する場合のコードのエクスポート

接続データのないコードのエクスポート

例2: モデルをSnowflakeテーブルに接続しない場合のコードのエクスポート

言語: 日本語