Anpassen des Cortex Search-Scoring¶

Numerische Erhöhungen und Zeitabfälle¶

Sie können die Ergebnisse von Suchergebnissen auf der Grundlage von numerischen oder Zeitstempel-Metadaten verbessern oder anwenden. Dieses Feature ist nützlich, wenn Sie für jedes Ergebnis strukturierte Metadaten, wie z. B. Popularität oder Aktualität haben, die dabei helfen können, die Relevanz von Dokumenten zur Abfragezeit zu bestimmen. Sie können zwei Kategorien von Ranking-Signalen angeben, wenn Sie eine Abfrage durchführen:

Erhöhungs- und Abfall-Metadaten stammen aus Spalten der Quelltabelle, aus der ein Cortex Search Service erstellt wird. Sie geben die Metadaten-Spalten an, die für die Erhöhung oder den Abfall verwendet werden sollen, wenn Sie die Abfrage durchführen; diese Spalten müssen aber bei der Erstellung des Cortex Search Service berücksichtigt werden.

Bei der Abfrage eines Cortex Search Service geben Sie in den optionalen Feldern numeric_boosts und time_decays im Feld scoring_config.functions die Spalten an, die für das Erhöhen oder Abfallen verwendet werden sollen. Sie können auch das Gewicht für jede Erhöhung oder jeden Abfall festlegen.

{
  "scoring_config": {
    "functions": {
      "numeric_boosts": [
        {
          "column": "column_name",
          "weight": 1
        },
        /* ... */
      ],
      "time_decays": [
        {
          "column": "column_name",
          "weight": 1,
          "limit_hours": 120
        },
        /* ... */
      ]
    }
  }
}

Neueinstufung¶

Standardmäßig nutzen Abfragen an Cortex Search Services semantische Neueinstufung zur Verbesserung der Relevanz der Suchergebnisse. Neueinstufung kann zwar die Relevanz der Ergebnisse messbar erhöhen, aber auch die Latenz bei Abfragen spürbar steigern. Sie können die Neueinstufung in jeder Cortex Search-Abfrage deaktivieren, wenn Sie festgestellt haben, dass der Qualitätsvorteil, den die Neueinstufung bietet, für eine schnellere Abfragegeschwindigkeit in Ihrem geschäftlichen Anwendungsfall geopfert werden kann.

Sie können den Neueinstufer für eine einzelne Abfrage zum Zeitpunkt der Abfrage im Feld scoring_config.reranker im folgenden Format deaktivieren:

{
  "scoring_config": {
      "reranker": "none"
  }
}

Komponentengewichtungen¶

Das Feld weights im scoring_config-Objekt ermöglicht es Ihnen, die Gewichtungen der einzelnen Scoring-Komponenten (vectors, texts, reranker) in der Gesamtpunktzahl für jedes Ergebnis anzugeben. Standardmäßig sind die Gewichtungen für jede Komponente auf 1,0 eingestellt, mit dem gleichen Anteil an der Gesamtbewertung.

Sie können Gewichtungen im folgenden Format angeben:

{
  "scoring_config": {
    "functions": {
      "weights": {
        "texts": 3,
        "vectors": 2,
        "reranker": 1
      }
    }
  }
}

{
  "scoring_config": {
    "functions": {
      "weights": {
        "texts": 3,
        "vectors": 1,
        "reranker": 2
      }
    }
  }
}

Benannte Scoring-Profile¶

Die Einstellungen für Erhöhungen/Zeitabfälle und Reranking-Einstellungen bilden zusammen eine Scoring-Konfiguration, die im Parameter scoring_config bei einer Abfrage angegeben werden kann. Scoring-Konfigurationen können auch einen Namen erhalten und an den Cortex Search Service angehängt werden.

Durch die Verwendung eines benannten Scoring-Profils können Sie eine Scoring-Konfiguration einfach über Anwendungen und Abfragen hinweg verwenden, ohne jedes Mal die vollständige Scoring-Konfiguration angeben zu müssen. Wenn Sie die Scoring-Konfiguration ändern, müssen Sie diese nur an einer Stelle aktualisieren, nicht in jeder Abfrage.

Um ein Scoring-Profil zu Ihrem Cortex Search Service hinzuzufügen, verwenden Sie den Befehl ALTER CORTEX SEARCH SERVICE … ADD SCORING PROFILE, wie im folgenden Beispiel gezeigt:

ALTER CORTEX SEARCH SERVICE my_search_service
  ADD SCORING PROFILE IF NOT EXISTS heavy_comments_with_likes
  '{
    "functions": {
            "numeric_boosts": [
                { "column": "comments", "weight": 6 },
                { "column": "likes", "weight": 1 }
            ]
    }
  }'

Die Syntax der Scoring-Profildefinition ist dasselbe Schema, das im Parameter scoring_config bei einer Abfrage verwendet wird.

Scoring-Profile können nach der Erstellung nicht mehr geändert werden. Wenn Sie ein Profil ändern möchten, löschen Sie es und erstellen Sie es mit der neuen Scoring-Konfiguration neu. Um ein benanntes Scoring-Profil zu löschen, verwenden Sie ALTER CORTEX SEARCH SERVICE … DROP SCORING PROFILE.

Um einen Cortex Search Service mit einem benannten Scoring-Profil abzufragen, geben Sie den Profilnamen bei einer Abfrage im Parameter scoring_profile an, wie in den folgenden Beispielen gezeigt:

results = svc.search(
    query="technology",
    columns=["comments", "likes"],
    scoring_profile="heavy_comments_with_likes",
    limit=10
)

curl --location https://<account_url>/api/v2/databases/<db_name>/schemas/<schema_name>/cortex-search-services/<service_name>:query \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header "Authorization: Bearer $PAT" \
--data '{
  "query": "technology",
  "columns": ["DOCUMENT_CONTENTS", "LIKES", "COMMENTS"],
  "scoring_profile": "heavy_comments_with_likes",
  "limit": 10
}'

SELECT SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
  'my_search_service',
  '{
    "query": "technology",
    "columns": ["comments", "likes"],
    "scoring_profile": "heavy_comments_with_likes",
    "limit": 10
  }'
);

Um die gespeicherten Scoring-Profile eines Dienstes anzuzeigen, fragen Sie die Ansicht CORTEX_SEARCH_SERVICE_SCORING_PROFILES im Schema INFORMATION_SCHEMA ab, wie im folgenden Beispiel gezeigt:

SELECT *
  FROM my_db.INFORMATION_SCHEMA.CORTEX_SEARCH_SERVICE_SCORING_PROFILES
  WHERE service_name = 'my_search_service';

Komponentenbewertungen¶

Komponentenbewertungen bieten detaillierte Informationen zum Scoring der Suchergebnisse. Sie ermöglichen es Entwicklern, zu verstehen, wie Suchrankings bestimmt werden, um die Such-Performance zu debuggen. Die Bewertungen für jedes Ergebnis werden im Feld @scores für jede Abruf-„Komponente“ (Text, Vektor) zurückgegeben. Komponentenbewertungen sind in Szenarios nützlich, in denen Folgendes erforderlich ist:

• Schwellenwerte festlegen: Verwenden Sie Komponentenbewertungen, um zu bestimmen, wann die Ergebnisse an einen nachgelagerten Prozess, wie einen Agenten, weitergegeben werden sollten.

• Debuggen von Suchranglisten: Verstehen Sie, warum bestimmte Dokumente in den Suchergebnissen einen höheren Rang haben als andere.

{
  "results": [
    {
      "@scores": {
        "cosine_similarity": <cosine_similarity_score>,
        "text_match": <text_match_score>
      }
    }
  ]
}