Cortex Search¶

概要¶

Cortex Searchは、Snowflakeデータに対して低遅延で高品質な「ファジー」検索を可能にします。Cortex Searchは、 検索拡張世代（RAG） 大規模言語モデル（LLMs）を活用したアプリケーションなど、Snowflakeユーザーのための幅広い検索体験を提供します。

Cortex Searchは、埋め込み、インフラストラクチャのメンテナンス、検索品質パラメーターのチューニング、継続的なインデックスの更新を心配することなく、数分でテキストデータのハイブリッド（ベクトルとキーワード）検索エンジンを立ち上げ、実行することができます。つまり、インフラや検索品質のチューニングに費やす時間を減らし、データを活用した高品質なチャットや検索体験の開発に多くの時間を費やすことができます。 Cortex Searchチュートリアル で、Cortex Searchを使用して AI チャットおよび検索アプリケーションをパワーアップするためのステップバイステップの手順をご覧ください。

Cortex Searchの使用時期¶

Cortex Searchの2つの主なユースケースは、検索拡張世代（RAG）とエンタープライズ検索です。

• LLM チャットボット用 RAG エンジン: Cortex Searchは、セマンティック検索を活用することで、カスタマイズされた文脈に応じた応答を実現し、テキストデータを使用したチャットアプリケーションの RAG エンジンとして使用できます。

• エンタープライズ検索: Cortex Searchを、アプリケーションに埋め込まれた高品質の検索バーのバックエンドとして使用します。

RAG 向けのCortex Search¶

検索拡張生成（RAG）は、大規模言語モデルの生成応答を拡張するために、知識ベースからデータを検索する技術です。次のアーキテクチャ図は、Cortex Searchと Cortex LLM 関数 を組み合わせて、Snowflakeデータをナレッジベースとして使用する RAG エンタープライズチャットボットを作成する方法を示しています。

Cortex Searchは、L大規模言語モデルに必要なコンテキストを提供し、最新の独自データに基づいた回答を返す検索エンジンです。

例¶

この例では、Cortex Search Serviceを作成し、 REST API を使ってクエリする手順を説明します。サービスのクエリの詳細については、 「Cortex Search Serviceのクエリ」 をご参照ください。

この例では、カスタマーサポートのトランスクリプトデータセットのサンプルを使用します。

以下のコマンドを実行して、サンプルのデータベースとスキーマを設定します。

CREATE DATABASE IF NOT EXISTS cortex_search_db;

CREATE OR REPLACE WAREHOUSE cortex_search_wh WITH
   WAREHOUSE_SIZE='X-SMALL';

CREATE OR REPLACE SCHEMA cortex_search_db.services;

以下の SQL コマンドを実行してデータセットを作成します。

CREATE OR REPLACE TABLE support_transcripts (
    transcript_text VARCHAR,
    region VARCHAR,
    agent_id VARCHAR
);

INSERT INTO support_transcripts VALUES
    ('My internet has been down since yesterday, can you help?', 'North America', 'AG1001'),
    ('I was overcharged for my last bill, need an explanation.', 'Europe', 'AG1002'),
    ('How do I reset my password? The email link is not working.', 'Asia', 'AG1003'),
    ('I received a faulty router, can I get it replaced?', 'North America', 'AG1004');

変更追跡は、Cortex Search Serviceを構築するために必要です。このテーブルの所有権を持たないロールを使用して検索サービスを作成する場合は、以下のステートメントを実行してテーブルの変更追跡を有効にしてください。

ALTER TABLE support_transcripts SET
  CHANGE_TRACKING = TRUE;

変更追跡の有効化の詳細については、 変更の追跡を有効にする をご参照ください。

CREATE OR REPLACE CORTEX SEARCH SERVICE transcript_search_service
  ON transcript_text
  ATTRIBUTES region
  WAREHOUSE = cortex_search_wh
  TARGET_LAG = '1 day'
  AS (
    SELECT
        transcript_text,
        region,
        agent_id
    FROM support_transcripts
);

GRANT USAGE ON DATABASE cortex_search_db TO ROLE customer_support;
GRANT USAGE ON SCHEMA services TO ROLE customer_support;

GRANT USAGE ON CORTEX SEARCH SERVICE transcript_search_service TO ROLE customer_support;

SELECT PARSE_JSON(
  SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
      'cortex_search_db.services.transcript_search_service',
      '{
        "query": "internet issues",
        "columns":[
            "transcript_text",
            "region"
        ],
        "filter": {"@eq": {"region": "North America"} },
        "limit":1
      }'
  )
)['results'] as results;

[
  {
  "transcript_text" : "My internet has been down since yesterday, can you help?",
  "region" : "North America"
  }
]

from snowflake.core import Root
from snowflake.snowpark import Session

CONNECTION_PARAMETERS = {"..."}

session = Session.builder.configs(CONNECTION_PARAMETERS).create()
root = Root(session)

transcript_search_service = (root
  .databases["cortex_search_db"]
  .schemas["services"]
  .cortex_search_services["transcript_search_service"]
)

resp = transcript_search_service.search(
  query="internet issues",
  columns=["transcript_text", "region"],
  filter={"@eq": {"region": "North America"} },
  limit=1
)
print(resp.to_json())

{
  "results": [
    {
      "transcript_text": "My internet has been down since yesterday, can you help?",
      "region": "North America"
    }
  ],
  "request_id": "5d8eaa5a-800c-493c-a561-134c712945ba"
}

必要な権限¶

• Cortex Search Serviceを作成するには、ロールがCortex LLM 関数に必要な CORTEX_USER データベースロールを持っている必要があります。このロールの付与と取り消しについては、 Cortex LLM 権限が必須の関数 をご参照ください。

• Cortex Search Serviceにクエリを実行するには、クエリを実行するユーザーのロールが、サービスが存在するデータベースとスキーマだけでなく、サービス自体に対して USAGE の権限を持っている必要があります。 Cortex Searchアクセス制御の要件 をご参照ください。

• ALTER コマンドを使用してCortex Search Serviceを一時停止または再開するには、クエリするユーザーのロールがサービス上で OPERATE 権限を持っている必要があります。 ALTER CORTEX SEARCH SERVICE をご参照ください。

Cortex Searchの品質を理解する¶

Cortex Searchは、検索とランキングモデルのアンサンブルを活用し、ほとんどチューニングの必要なく、高レベルの検索品質を提供します。Cortex Searchは、文書の検索とランキングに「ハイブリッド」なアプローチをとっています。各検索クエリは、以下のものを利用します。

• 意味的に類似した文書を検索するための ベクトル検索

• 語彙的に類似した文書を検索するための キーワード検索

• 結果セットの中で最も関連性の高い文書を再ランク付けするための セマンティック再ランク付け

このハイブリッド検索アプローチは、セマンティックリランキングステップと相まって、幅広いデータセットとクエリにおいて高い検索品質を達成しています。

トークン制限とテキスト分割¶

Cortex Searchで最適な検索結果を得るために、Snowflakeは検索列のテキストを512トークン（約385英単語）以下のチャンクに分割することを推奨します。検索列のエントリーが512以上のトークンを含む場合、Cortex Searchはテキスト全体に対してキーワードベースの検索を実行しますが、セマンティック（つまりベクトルベース）検索には最初の512トークンのみを使用します。

トークンは文字の並びであり、大規模な言語モデルで処理できる最小単位です。近似値として、1トークンは英単語の約3/4、つまり約4文字に相当します。文字列内のトークンの正確な数を計算するには、 TOKEN_COUNT Cortex関数 を snowflake-arctic-embed-m モデルパラメーターとともに以下のように使用します。

SELECT SNOWFLAKE.CORTEX.COUNT_TOKENS('snowflake-arctic-embed-m', '<input_text>') as token_count

リフレッシュ¶

Cortex Search Serviceで提供されるコンテンツは、特定のクエリの結果に基づいています。Cortex Search Serviceの基礎となるデータが変更されると、サービスはその変更を反映して更新されます。これらの更新は リフレッシュ と呼ばれます。このプロセスは自動化されており、テーブルの基礎となるクエリを分析します。

Cortex Search Serviceは動的テーブルと同じ更新プロパティを持っています。Cortex Search Serviceのリフレッシュの特徴については、 動的テーブルリフレッシュについて のトピックをご参照ください。

Cortex Search Serviceのソースクエリは、動的テーブルの増分リフレッシュの候補でなければなりません。これらの要件の詳細については、 増分リフレッシュのサポート をご参照ください。この制限は、ベクトル埋め込み計算に伴う不要なコストの暴走を防ぐためのものです。動的テーブルの増分リフレッシュでサポートされないコンストラクトの詳細については、 サポートされていないコンストラクト、演算子、関数 をご参照ください。

インデックス作成とサービングの停止¶

動的テーブルと同様に、Cortex Search Serviceは、ソースクエリに関連するリフレッシュが5回連続して失敗した場合、インデックス作成状態を自動的に中断します。お客様のサービスでこのエラーが発生した場合、 DESCRIBE CORTEX SEARCH SERVICE または CORTEX_SEARCH_SERVICES ビュー のいずれかを使用して、特定の SQL エラーを表示できます。両者の出力には以下の列が含まれます。

• INDEXING_STATE 列の値は SUSPENDED となります。

• INDEXING_ERROR 列には、ソースクエリで発生した特定の SQL エラーが格納されます。

ルート問題が解決すれば、 ALTER CORTEX SEARCH SERVICE <名前> RESUME INDEXING でサービスを再開できます。詳細な構文については、 ALTER CORTEX SEARCH SERVICE をご参照ください。

コストの考慮事項¶

Cortex Search Serviceでは、以下のようなコストが発生します。

既知の制限¶

Cortex Searchの使用には以下の制限があります。

• 対応言語: この機能は英語の文書やクエリに最適化されています。

• ベーステーブルサイズ: 検索サービスのマテリアライズドクエリの結果は、最適なパフォーマンスを維持するために、50M行未満のサイズでなければなりません。クエリのマテリアライズされた結果が50M行を超える場合、作成クエリはエラーになります。

  注釈

  Cortex Search Serviceの行スケーリング制限を50M以上にするには、Snowflakeアカウントチームまでご連絡ください。

• クエリ構造: Cortex Search Serviceのソースクエリは、動的テーブルと同じクエリ制限に従わなければなりません。詳細については 動的テーブルの既知の制限 をご覧ください。

• 複製とクローニング: Cortex Search Serviceは、 複製 または クローニング をサポートしていません。これらの機能は将来のリリースでサポートされる予定です。

リージョンの可用性¶

この機能のサポートは、以下のSnowflakeリージョンのアカウントで利用可能です。

法的通知¶

インプットとアウトプットのデータ分類は以下の表の通りです。

詳細については、 Snowflake AI と ML をご参照ください。