Anpassen der Cortex Search-Bewertungen¶

Numerische Erhöhungen und Zeitabfälle¶

Sie können die Ergebnisse von Suchergebnissen auf der Grundlage von numerischen oder Zeitstempel-Metadaten verbessern oder anwenden. Dieses Feature ist nützlich, wenn Sie für jedes Ergebnis strukturierte Metadaten, wie z. B. Popularität oder Aktualität haben, die dabei helfen können, die Relevanz von Dokumenten zur Abfragezeit zu bestimmen. Sie können zwei Kategorien von Ranking-Signalen angeben, wenn Sie eine Abfrage durchführen:

Erhöhungs- und Abfall-Metadaten stammen aus Spalten der Quelltabelle, aus der ein Cortex Search Service erstellt wird. Sie geben die Metadaten-Spalten an, die für die Erhöhung oder den Abfall verwendet werden sollen, wenn Sie die Abfrage durchführen; diese Spalten müssen aber bei der Erstellung des Cortex Search Service berücksichtigt werden.

Bei der Abfrage eines Cortex Search Service geben Sie in den optionalen Feldern numeric_boosts und time_decays im Feld scoring_config.functions die Spalten an, die für das Erhöhen oder Abfallen verwendet werden sollen. Sie können auch das Gewicht für jede Erhöhung oder jeden Abfall festlegen.

{
  "scoring_config": {
    "functions": {
      "numeric_boosts": [
        {
          "column": "column_name",
          "weight": 1
        },
        /* ... */
      ],
      "time_decays": [
        {
          "column": "column_name",
          "weight": 1,
          "limit_hours": 120
        },
        /* ... */
      ]
    }
  }
}

Neueinstufung¶

Standardmäßig nutzen Abfragen an Cortex Search Services semantische Neueinstufung zur Verbesserung der Relevanz der Suchergebnisse. Neueinstufung kann zwar die Relevanz der Ergebnisse messbar erhöhen, aber auch die Latenz bei Abfragen spürbar steigern. Sie können die Neueinstufung in jeder Cortex Search-Abfrage deaktivieren, wenn Sie festgestellt haben, dass der Qualitätsvorteil, den die Neueinstufung bietet, für eine schnellere Abfragegeschwindigkeit in Ihrem geschäftlichen Anwendungsfall geopfert werden kann.

Sie können den Neueinstufer für eine einzelne Abfrage zum Zeitpunkt der Abfrage im Feld scoring_config.reranker im folgenden Format deaktivieren:

{
  "scoring_config": {
      "reranker": "none"
  }
}

Komponentengewichtungen¶

Das Feld weights im scoring_config-Objekt ermöglicht es Ihnen, die Gewichtungen der einzelnen Scoring-Komponenten (vectors, texts, reranker) in der Gesamtpunktzahl für jedes Ergebnis anzugeben. Standardmäßig sind die Gewichtungen für jede Komponente auf 1,0 eingestellt, mit dem gleichen Anteil an der Gesamtbewertung.

Sie können Gewichtungen im folgenden Format angeben:

{
  "scoring_config": {
    "functions": {
      "weights": {
        "texts": 3,
        "vectors": 2,
        "reranker": 1
      }
    }
  }
}

{
  "scoring_config": {
    "weights": {
      "texts": 3,
      "vectors": 2,
      "reranker": 1
    },
    "functions": {
      // ...
    }
  }
}

{
  "scoring_config": {
    "functions": {
      "weights": {
        "texts": 3,
        "vectors": 1,
        "reranker": 2
      }
    }
  }
}

Deaktivieren des Abfragepräfixes für Vektoreinbettungen¶

Standardmäßig fügt Cortex Search den Abfragen ein Präfix hinzu, bevor die Vektoreinbettungen berechnet werden. Dieses Präfix variiert je nach Modell, hat aber im Allgemeinen das folgende Format: Represent this sentence for searching relevant passages: query. Dies verbessert in vielen Fällen die Suchqualität, indem der Kontext für das Einbettungsmodell bereitgestellt wird, der dabei hilft, Suchabfragen von anderen Texten zu unterscheiden, die Sie im Cortex Search Service gespeichert haben.

Sie können dieses Präfix jedoch in einigen Fällen deaktivieren, z. B. im folgenden Szenario:

• Wenn Sie die Ähnlichkeitssuche ohne das Präfix verwenden möchten. Wenn Sie beispielsweise nach „was ist die beste Datencloud“ suchen und „Snowflake“ als Ergebnis erhalten möchten, dann verwenden Sie das Standardpräfix. Wenn Sie jedoch nach „was ist die Datencloud“ und als Ergebnis „was ist die beste Datencloud“ erhalten möchten, können Sie das Präfix deaktivieren.

Sie können das Abfragepräfix für eine einzelne Abfrage zum Zeitpunkt der Abfrage mit dem Parameter disable_vector_embedding_query_prefix im Feld scoring_config deaktivieren:

{
  "scoring_config": {
    "disable_vector_embedding_query_prefix": true
  }
}

Benannte Scoring-Profile¶

Die Einstellungen für Erhöhungen/Zeitabfälle und Reranking-Einstellungen bilden zusammen eine Scoring-Konfiguration, die im Parameter scoring_config bei einer Abfrage angegeben werden kann. Scoring-Konfigurationen können auch einen Namen erhalten und an den Cortex Search Service angehängt werden.

Durch die Verwendung eines benannten Scoring-Profils können Sie eine Scoring-Konfiguration einfach über Anwendungen und Abfragen hinweg verwenden, ohne jedes Mal die vollständige Scoring-Konfiguration angeben zu müssen. Wenn Sie die Scoring-Konfiguration ändern, müssen Sie diese nur an einer Stelle aktualisieren, nicht in jeder Abfrage.

Um ein Scoring-Profil zu Ihrem Cortex Search Service hinzuzufügen, verwenden Sie den Befehl ALTER CORTEX SEARCH SERVICE … ADD SCORING PROFILE, wie im folgenden Beispiel gezeigt:

ALTER CORTEX SEARCH SERVICE my_search_service
  ADD SCORING PROFILE IF NOT EXISTS heavy_comments_with_likes
  '{
    "functions": {
            "numeric_boosts": [
                { "column": "comments", "weight": 6 },
                { "column": "likes", "weight": 1 }
            ]
    }
  }'

Die Syntax der Scoring-Profildefinition ist dasselbe Schema, das im Parameter scoring_config bei einer Abfrage verwendet wird.

Scoring-Profile können nach der Erstellung nicht mehr geändert werden. Wenn Sie ein Profil ändern möchten, löschen Sie es und erstellen Sie es mit der neuen Scoring-Konfiguration neu. Um ein benanntes Scoring-Profil zu löschen, verwenden Sie ALTER CORTEX SEARCH SERVICE … DROP SCORING PROFILE.

Um einen Cortex Search Service mit einem benannten Scoring-Profil abzufragen, geben Sie den Profilnamen bei einer Abfrage im Parameter scoring_profile an, wie in den folgenden Beispielen gezeigt:

results = svc.search(
    query="technology",
    columns=["comments", "likes"],
    scoring_profile="heavy_comments_with_likes",
    limit=10
)

curl --location https://<account_url>/api/v2/databases/<db_name>/schemas/<schema_name>/cortex-search-services/<service_name>:query \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header "Authorization: Bearer $PAT" \
--data '{
  "query": "technology",
  "columns": ["DOCUMENT_CONTENTS", "LIKES", "COMMENTS"],
  "scoring_profile": "heavy_comments_with_likes",
  "limit": 10
}'

SELECT SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
  'my_search_service',
  '{
    "query": "technology",
    "columns": ["comments", "likes"],
    "scoring_profile": "heavy_comments_with_likes",
    "limit": 10
  }'
);

Um die gespeicherten Scoring-Profile eines Dienstes anzuzeigen, fragen Sie die Ansicht CORTEX_SEARCH_SERVICE_SCORING_PROFILES im Schema INFORMATION_SCHEMA ab, wie im folgenden Beispiel gezeigt:

SELECT *
  FROM my_db.INFORMATION_SCHEMA.CORTEX_SEARCH_SERVICE_SCORING_PROFILES
  WHERE service_name = 'my_search_service';

Komponentenbewertungen¶

Komponentenbewertungen bieten detaillierte Informationen zum Scoring der Suchergebnisse. Sie ermöglichen es Entwicklern, zu verstehen, wie Suchrankings bestimmt werden, um die Such-Performance zu debuggen. Die Bewertungen für jedes Ergebnis werden im Feld @scores für jede Abruf-„Komponente“ (Text, Vektor) zurückgegeben. Komponentenbewertungen sind in Szenarios nützlich, in denen Folgendes erforderlich ist:

• Schwellenwerte festlegen: Verwenden Sie Komponentenbewertungen, um zu bestimmen, wann die Ergebnisse an einen nachgelagerten Prozess, wie einen Agenten, weitergegeben werden sollten.

• Debuggen von Suchranglisten: Verstehen Sie, warum bestimmte Dokumente in den Suchergebnissen einen höheren Rang haben als andere.

{
  "results": [
    {
      "@scores": {
        "cosine_similarity": <cosine_similarity_score>,
        "text_match": <text_match_score>
      }
    }
  ]
}

Indexspezifische Erhöhungen¶

Indexspezifische Erhöhungen passen die Gewichtung des Einflusses für Indizes in einem Multi-Index Cortex Search Service an. Sie können die Gewichtungen für den Textabgleich und den Vektorabgleich anpassen, die relativ zu den anderen verfügbaren Gewichtungen angewendet werden. Höhere Werte haben Vorrang vor niedrigeren Werten und verhalten sich genauso wie Komponentengewichtungen.

{
  "column": "<column name>",
  "weight": <weight>
}

CREATE TABLE feedback_info (
  id VARCHAR,
  comment VARCHAR,
  support_note VARCHAR,
  sentiment VECTOR(FLOAT, 3),
  issue_category VECTOR(FLOAT, 3)
);

{
  "scoring_config": {
    "functions": {
      "text_boosts": [
        { "column": "id", "weight": 1 },
        { "column": "support_note", "weight": 2},
        { "column": "comment", "weight": 3},
      ],
      "vector_boosts": [
        { "column": "issue_category", "weight": 1 },
        { "column": "sentiment", "weight": 2 }
      ]
    }
  }
}

Diversität¶

In einigen Fällen kann ein Ergebnistyp mehr Ergebnisse liefern als andere. Um zu verhindern, dass ein bestimmter Typ von Ergebnis die Suchergebnisse bestimmt, verwenden Sie den Parameter diversity.

Wenn zum Beispiel ein Cortex Search Service mit langen Dokumenten erstellt wird und diese Dokumente durch Blöcke indiziert werden, kann der Parameter diversity verwendet werden, um sicherzustellen, dass nicht mehrere Blöcke aus demselben Dokument im endgültigen Resultset angezeigt werden.

Sie können die Diversität für eine einzelne Abfrage zur Abfragezeit im Feld scoring_config.diversity im folgenden Format aktivieren:

{
  "scoring_config": {
    "diversity": {
      "group_by": <array_of_columns_to_group_by>,
      "max_results": <num_results_for_each_group>,
    }
  }
}