Cortex Searchスコアリングのカスタマイズ¶

数値ブーストと時間減衰¶

数値やタイムスタンプのメタデータに基づいて、検索結果をブーストしたり、減算を適用したりできます。この機能は、クエリ時にドキュメントの関連性を判断するのに役立つ、各結果の人気度や新着度のシグナルのような構造化されたメタデータがある場合に便利です。クエリ作成時に、2種類のランキングシグナルを指定できます。

ブーストと減衰のメタデータは、 Cortex Search Serviceが作成されるソーステーブルの列から取得されます。クエリを作成するときに、ブーストまたは減衰に使用するメタデータ列を指定しますが、それらの列はCortex Searchサービスを作成するときに含める必要があります。

Cortex Search Serviceをクエリする際、ブーストまたは減衰に使用する列をオプションの numeric_boosts、 time_decays、 scoring_config.functions フィールドで指定します。また、ブーストや減衰ごとにウェイトを指定することもできます。

{
  "scoring_config": {
    "functions": {
      "numeric_boosts": [
        {
          "column": "column_name",
          "weight": 1
        },
        /* ... */
      ],
      "time_decays": [
        {
          "column": "column_name",
          "weight": 1,
          "limit_hours": 120
        },
        /* ... */
      ]
    }
  }
}

再ランキング¶

デフォルトでは、Cortex Search Serviceへのクエリは、 セマンティック・リランキング を活用し、検索結果の関連性を向上させます。再ランキングはクエリ結果の関連性を著しく向上させますが、クエリの待ち時間も著しく増加させます。ビジネスユースケースにおいて、クエリの高速化のために、リランキングが提供する品質の利点を犠牲にできることがわかった場合、どのCortex Searchクエリでもリランキングを無効にすることができます。

クエリ時に scoring_config.reranker フィールドで、以下の形式で個々のクエリのリランカーを無効にすることができます。

{
  "scoring_config": {
      "reranker": "none"
  }
}

コンポーネントの重み¶

scoring_config オブジェクトの weights フィールドでは、各結果の総合スコアにおける個々のスコアリングコンポーネント（ vectors 、 texts 、 reranker ）の重みを指定できます。デフォルトでは、各コンポーネントの重みは1.0に設定され、総合スコアへの貢献度は等しくなります。

重みは次の形式で指定できます。

{
  "scoring_config": {
    "functions": {
      "weights": {
        "texts": 3,
        "vectors": 2,
        "reranker": 1
      }
    }
  }
}

{
  "scoring_config": {
    "weights": {
      "texts": 3,
      "vectors": 2,
      "reranker": 1
    },
    "functions": {
      // ...
    }
  }
}

{
  "scoring_config": {
    "functions": {
      "weights": {
        "texts": 3,
        "vectors": 1,
        "reranker": 2
      }
    }
  }
}

ベクトル埋め込み用クエリプレフィックスの無効化¶

デフォルトでは、Cortex Searchはベクトル埋め込みを計算する前にクエリにプレフィックスを追加します。このプレフィックスはモデルによって異なりますが、一般的には次のような形式です：:samp:`Represent this sentence for searching relevant passages: {query}`これにより、埋め込みモデルにコンテキストを提供することで、多くの場合で検索品質が向上し、検索クエリをCortex Search Serviceに保存した他のテキストと区別することができます。

ただし、次のシナリオなどの場合は、このプレフィックスを無効にすることができます。

• プレフィックスを除いた類似性検索を使用する場合。たとえば、「最適なデータクラウドは何ですか？」を検索し、結果として「Snowflake」を取得する場合は、デフォルトのプレフィックスを使用します。ただし、「データクラウドとは何か」を検索し、その結果「最適なデータクラウドとは」を取得する場合は、プレフィックスを無効にすることができます。

scoring_config フィールドの ``disable_vector_embedding_query_prefix``パラメーターを使用して、クエリ時に個々のクエリのクエリプレフィックスを無効にできます。

{
  "scoring_config": {
    "disable_vector_embedding_query_prefix": true
  }
}

名前付きスコアリングプロファイル¶

ブースト/減算とリランカーの設定を合わせて*スコアリング設定*となり、クエリ作成時に scoring_config パラメーターで指定できます。また、スコアリング設定に名前を付けて、Cortex Searchサービスに添付することもできます。

名前付きスコアリングプロファイルを使用すると、アプリケーションやクエリ間で同じスコアリング設定を簡単に使用でき、毎回すべてのスコアリング設定を指定する手間が省けます。スコアリング設定を変更する場合は、すべてのクエリで更新する必要はなく、1か所で更新するだけで済みます。

Cortex Search Serviceにスコアリングプロファイルを追加するには、以下の例に示すように、 ALTER CORTEX SEARCH SERVICE ... ADD SCORING PROFILE コマンドを使用します。

ALTER CORTEX SEARCH SERVICE my_search_service
  ADD SCORING PROFILE IF NOT EXISTS heavy_comments_with_likes
  '{
    "functions": {
            "numeric_boosts": [
                { "column": "comments", "weight": 6 },
                { "column": "likes", "weight": 1 }
            ]
    }
  }'

スコアリングプロファイル定義の構文は、クエリを作成する際に scoring_config パラメーターで使用されるスキーマと同じです。

スコアリングプロファイルは作成後に変更することはできません。プロファイルを変更するには、プロファイルを削除し、新しいスコアリング設定で再作成します。名前付きスコアリングプロファイルを削除するには、 ALTER CORTEX SEARCH SERVICE ... DROP SCORING PROFILE を使用します。

名前付きスコアリングプロファイルを使用してCortex Search Serviceをクエリするには、次の例に示すように、クエリ作成時に scoring_profile パラメーターにプロファイル名を指定します。

results = svc.search(
    query="technology",
    columns=["comments", "likes"],
    scoring_profile="heavy_comments_with_likes",
    limit=10
)

curl --location https://<account_url>/api/v2/databases/<db_name>/schemas/<schema_name>/cortex-search-services/<service_name>:query \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header "Authorization: Bearer $PAT" \
--data '{
  "query": "technology",
  "columns": ["DOCUMENT_CONTENTS", "LIKES", "COMMENTS"],
  "scoring_profile": "heavy_comments_with_likes",
  "limit": 10
}'

SELECT SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
  'my_search_service',
  '{
    "query": "technology",
    "columns": ["comments", "likes"],
    "scoring_profile": "heavy_comments_with_likes",
    "limit": 10
  }'
);

サービスの保存されたスコアリングプロファイルを見るには、次の例に示すように、 INFORMATION_SCHEMA スキーマの CORTEX_SEARCH_SERVICE_SCORING_PROFILES ビューをクエリします。

SELECT *
  FROM my_db.INFORMATION_SCHEMA.CORTEX_SEARCH_SERVICE_SCORING_PROFILES
  WHERE service_name = 'my_search_service';

コンポーネントスコア¶

コンポーネントスコアは、検索結果の詳細なスコアリング情報を提供します。これにより、開発者は検索順位の決定方法を理解し、検索パフォーマンスをデバッグできます。各検索結果のスコアは、各検索「コンポーネント」（テキスト、ベクトル）の @scores フィールドに返されます。コンポーネントスコアは、次のような必要がある場面で役立ちます。

• しきい値を確立する: コンポーネントスコアを使用して、結果をエージェントなどの下流のプロセスにいつ渡すかを決定します。

• 検索ランキングのデバッグ: 検索結果で特定のドキュメントが他のドキュメントより上位にランクされる理由を理解します。

{
  "results": [
    {
      "@scores": {
        "cosine_similarity": <cosine_similarity_score>,
        "text_match": <text_match_score>
      }
    }
  ]
}

インデックス固有ブースト¶

インデックス固有ブーストは、 マルチインデックスCortex Search Service 内のインデックスの影響の重みを調整します。テキスト一致およびベクトル一致の重みを調整できます。これらは、他の提供された重みと比較して適用されます。高い値は低い値より優先され、コンポーネントの重みと同じ動作を使用します。

{
  "column": "<column name>",
  "weight": <weight>
}

CREATE TABLE feedback_info (
  id VARCHAR,
  comment VARCHAR,
  support_note VARCHAR,
  sentiment VECTOR(FLOAT, 3),
  issue_category VECTOR(FLOAT, 3)
);

{
  "scoring_config": {
    "functions": {
      "text_boosts": [
        { "column": "id", "weight": 1 },
        { "column": "support_note", "weight": 2},
        { "column": "comment", "weight": 3},
      ],
      "vector_boosts": [
        { "column": "issue_category", "weight": 1 },
        { "column": "sentiment", "weight": 2 }
      ]
    }
  }
}

多様性¶

場合によっては、ある型の結果が他の型よりも多くの結果を返すことがあります。特定のタイプの結果が検索結果の大部分を占めるのを防ぐには、 diversity パラメーターを使用します。

例えば、Cortex Search Serviceが長いドキュメントを使用して作成され、これらのドキュメントがチャンクによってインデックス付けされている場合、 diversity パラメーターを使用して、同じドキュメントからの複数のチャンクが最終結果セットに表示されないようにします。

次の形式で、 scoring_config.diversity フィールドのクエリ時に、個々のクエリの多様性を有効にすることができます。

{
  "scoring_config": {
    "diversity": {
      "group_by": <array_of_columns_to_group_by>,
      "max_results": <num_results_for_each_group>,
    }
  }
}