Cortex Searchスコアリングのカスタマイズ¶

数値ブーストと時間減衰¶

数値やタイムスタンプのメタデータに基づいて、検索結果をブーストしたり、減算を適用したりできます。この機能は、クエリ時にドキュメントの関連性を判断するのに役立つ、各結果の人気度や新着度のシグナルのような構造化されたメタデータがある場合に便利です。クエリ作成時に、2種類のランキングシグナルを指定できます。

ブーストと減衰のメタデータは、 Cortex Search Serviceが作成されるソーステーブルの列から取得されます。クエリを作成するときに、ブーストまたは減衰に使用するメタデータ列を指定しますが、それらの列はCortex Searchサービスを作成するときに含める必要があります。

Cortex Search Serviceをクエリする際、ブーストまたは減衰に使用する列をオプションの numeric_boosts、 time_decays、 scoring_config.functions フィールドで指定します。また、ブーストや減衰ごとにウェイトを指定することもできます。

{
  "scoring_config": {
    "functions": {
      "numeric_boosts": [
        {
          "column": "column_name",
          "weight": 1
        },
        /* ... */
      ],
      "time_decays": [
        {
          "column": "column_name",
          "weight": 1,
          "limit_hours": 120
        },
        /* ... */
      ]
    }
  }
}

再ランキング¶

デフォルトでは、Cortex Search Serviceへのクエリは、 セマンティック・リランキング を活用し、検索結果の関連性を向上させます。再ランキングはクエリ結果の関連性を著しく向上させますが、クエリの待ち時間も著しく増加させます。ビジネスユースケースにおいて、クエリの高速化のために、リランキングが提供する品質の利点を犠牲にできることがわかった場合、どのCortex Searchクエリでもリランキングを無効にすることができます。

クエリ時に scoring_config.reranker フィールドで、以下の形式で個々のクエリのリランカーを無効にすることができます。

{
  "scoring_config": {
      "reranker": "none"
  }
}

コンポーネントの重み¶

scoring_config オブジェクトの weights フィールドでは、各結果の総合スコアにおける個々のスコアリングコンポーネント（ vectors 、 texts 、 reranker ）の重みを指定できます。デフォルトでは、各コンポーネントの重みは1.0に設定され、総合スコアへの貢献度は等しくなります。

重みは次の形式で指定できます。

{
  "scoring_config": {
    "functions": {
      "weights": {
        "texts": 3,
        "vectors": 2,
        "reranker": 1
      }
    }
  }
}

{
  "scoring_config": {
    "functions": {
      "weights": {
        "texts": 3,
        "vectors": 1,
        "reranker": 2
      }
    }
  }
}

名前付きスコアリングプロファイル¶

ブースト/減算とリランカーの設定を合わせて*スコアリング設定*となり、クエリ作成時に scoring_config パラメーターで指定できます。また、スコアリング設定に名前を付けて、Cortex Searchサービスに添付することもできます。

名前付きスコアリングプロファイルを使用すると、アプリケーションやクエリ間で同じスコアリング設定を簡単に使用でき、毎回すべてのスコアリング設定を指定する手間が省けます。スコアリング設定を変更する場合は、すべてのクエリで更新する必要はなく、1か所で更新するだけで済みます。

Cortex Search Serviceにスコアリングプロファイルを追加するには、以下の例に示すように、 ALTER CORTEX SEARCH SERVICE ... ADD SCORING PROFILE コマンドを使用します。

ALTER CORTEX SEARCH SERVICE my_search_service
  ADD SCORING PROFILE IF NOT EXISTS heavy_comments_with_likes
  '{
    "functions": {
            "numeric_boosts": [
                { "column": "comments", "weight": 6 },
                { "column": "likes", "weight": 1 }
            ]
    }
  }'

スコアリングプロファイル定義の構文は、クエリを作成する際に scoring_config パラメーターで使用されるスキーマと同じです。

スコアリングプロファイルは作成後に変更することはできません。プロファイルを変更するには、プロファイルを削除し、新しいスコアリング設定で再作成します。名前付きスコアリングプロファイルを削除するには、 ALTER CORTEX SEARCH SERVICE ... DROP SCORING PROFILE を使用します。

名前付きスコアリングプロファイルを使用してCortex Search Serviceをクエリするには、次の例に示すように、クエリ作成時に scoring_profile パラメーターにプロファイル名を指定します。

results = svc.search(
    query="technology",
    columns=["comments", "likes"],
    scoring_profile="heavy_comments_with_likes",
    limit=10
)

curl --location https://<account_url>/api/v2/databases/<db_name>/schemas/<schema_name>/cortex-search-services/<service_name>:query \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header "Authorization: Bearer $PAT" \
--data '{
  "query": "technology",
  "columns": ["DOCUMENT_CONTENTS", "LIKES", "COMMENTS"],
  "scoring_profile": "heavy_comments_with_likes",
  "limit": 10
}'

SELECT SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
  'my_search_service',
  '{
    "query": "technology",
    "columns": ["comments", "likes"],
    "scoring_profile": "heavy_comments_with_likes",
    "limit": 10
  }'
);

サービスの保存されたスコアリングプロファイルを見るには、次の例に示すように、 INFORMATION_SCHEMA スキーマの CORTEX_SEARCH_SERVICE_SCORING_PROFILES ビューをクエリします。

SELECT *
  FROM my_db.INFORMATION_SCHEMA.CORTEX_SEARCH_SERVICE_SCORING_PROFILES
  WHERE service_name = 'my_search_service';

コンポーネントスコア¶

コンポーネントスコアは、検索結果の詳細なスコアリング情報を提供します。これにより、開発者は検索順位の決定方法を理解し、検索パフォーマンスをデバッグできます。各検索結果のスコアは、各検索「コンポーネント」（テキスト、ベクトル）の @scores フィールドに返されます。コンポーネントスコアは、次のような必要がある場面で役立ちます。

• しきい値を確立する: コンポーネントスコアを使用して、結果をエージェントなどの下流のプロセスにいつ渡すかを決定します。

• 検索ランキングのデバッグ: 検索結果で特定のドキュメントが他のドキュメントより上位にランクされる理由を理解します。

{
  "results": [
    {
      "@scores": {
        "cosine_similarity": <cosine_similarity_score>,
        "text_match": <text_match_score>
      }
    }
  ]
}