Personnalisation de Cortex Search Scoring¶

Accroissements numériques et déclins avec le temps¶

Vous pouvez améliorer ou appliquer des atténuations aux résultats de recherche en fonction de métadonnées numériques ou d’horodatage. Cette fonction est utile lorsque vous disposez de métadonnées structurées, telles que des signaux de popularité ou de récence, pour chaque résultat qui peut aider à déterminer la pertinence des documents au moment de la requête. Vous pouvez spécifier deux catégories de signaux de classement lors d’une requête :

Les métadonnées d’amélioration et de décroissance proviennent des colonnes du tableau source à partir desquelles un Cortex Search Service est créé. Vous spécifiez les colonnes de métadonnées à utiliser pour l’amélioration ou la décroissance lorsque vous effectuez la requête, mais ces colonnes doivent être incluses lors de la création du Cortex Search Service.

Lors d’une requête auprès d’un Cortex Search Service, indiquez les colonnes à utiliser pour l’accroissement ou le déclin dans les champs facultatifs numeric_boosts et time_decays dans le champ scoring_config.functions. Vous pouvez également spécifier le poids de chaque accroissement ou déclin.

{
  "scoring_config": {
    "functions": {
      "numeric_boosts": [
        {
          "column": "column_name",
          "weight": 1
        },
        /* ... */
      ],
      "time_decays": [
        {
          "column": "column_name",
          "weight": 1,
          "limit_hours": 120
        },
        /* ... */
      ]
    }
  }
}

Reclassement¶

Par défaut, les requêtes adressées à Cortex Search Services exploitent un reclassement sémantique pour améliorer la pertinence des résultats de recherche. Si le reclassement peut sensiblement améliorer la pertinence des résultats, il peut aussi augmenter sensiblement le temps de latence des requêtes. Vous pouvez désactiver le reclassement dans n’importe quelle requête de Cortex Search si vous estimez que l’avantage qualitatif que procure le reclassement peut être sacrifié au profit d’une vitesse de requête plus rapide dans votre cas d’utilisation.

Vous pouvez désactiver le reclasseur pour une requête individuelle au moment de la requête dans le champ scoring_config.reranker au format suivant :

{
  "scoring_config": {
      "reranker": "none"
  }
}

Poids des composants¶

Le champ weights dans l’objet scoring_config vous permet de spécifier les poids des composants de notation individuels (vectors, texts, reranker) dans la note globale de chaque résultat. Par défaut, les poids sont définis sur 1,0 pour chaque composant, avec une contribution égale à la notation globale.

Vous pouvez spécifier des poids au format suivant :

{
  "scoring_config": {
    "functions": {
      "weights": {
        "texts": 3,
        "vectors": 2,
        "reranker": 1
      }
    }
  }
}

{
  "scoring_config": {
    "functions": {
      "weights": {
        "texts": 3,
        "vectors": 1,
        "reranker": 2
      }
    }
  }
}

Profils de notation nommés¶

Les paramètres Renforcement/Dépréciations et Reclassement forment ensemble une configuration de notation, qui peut être spécifiée dans le paramètre scoring_config lors d’une requête. Les configurations de notation peuvent également recevoir un nom et être jointes au Cortex Search Service.

L’utilisation d’un profil de notation nommé vous permet d’utiliser facilement une configuration de notation dans les applications et les requêtes sans avoir à spécifier la configuration de notation complète à chaque fois. Si vous modifiez la configuration de notation, vous ne devez la mettre à jour qu’à un seul endroit, et non dans chaque requête.

Pour ajouter un profil de notation à votre Cortex Search Service, utilisez les commandes ALTER CORTEX SEARCH SERVICE … ADD SCORING PROFILE, comme le montre l’exemple suivant :

ALTER CORTEX SEARCH SERVICE my_search_service
  ADD SCORING PROFILE IF NOT EXISTS heavy_comments_with_likes
  '{
    "functions": {
            "numeric_boosts": [
                { "column": "comments", "weight": 6 },
                { "column": "likes", "weight": 1 }
            ]
    }
  }'

La syntaxe de la définition du profil de notation est le même schéma que celui utilisé dans le paramètre scoring_config lors d’une requête.

Les profils de notation ne peuvent pas être modifiés après avoir été créés. Pour modifier un profil, supprimez-le et recréez-le avec la nouvelle configuration de notation. Pour supprimer un profil de notation nommé, utilisez ALTER CORTEX SEARCH SERVICE … DROP SCORING PROFILE.

Pour interroger un Cortex Search Service à l’aide d’un profil de notation nommé, indiquez le nom du profil dans le paramètre scoring_profile lors de la création d’une requête, comme le montrent les exemples suivants :

results = svc.search(
    query="technology",
    columns=["comments", "likes"],
    scoring_profile="heavy_comments_with_likes",
    limit=10
)

curl --location https://<account_url>/api/v2/databases/<db_name>/schemas/<schema_name>/cortex-search-services/<service_name>:query \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header "Authorization: Bearer $PAT" \
--data '{
  "query": "technology",
  "columns": ["DOCUMENT_CONTENTS", "LIKES", "COMMENTS"],
  "scoring_profile": "heavy_comments_with_likes",
  "limit": 10
}'

SELECT SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
  'my_search_service',
  '{
    "query": "technology",
    "columns": ["comments", "likes"],
    "scoring_profile": "heavy_comments_with_likes",
    "limit": 10
  }'
);

Pour voir les profils de notation stockés d’un service, interrogez la vue CORTEX_SEARCH_SERVICE_SCORING_PROFILES dans le schéma INFORMATION_SCHEMA, comme le montre l’exemple suivant :

SELECT *
  FROM my_db.INFORMATION_SCHEMA.CORTEX_SEARCH_SERVICE_SCORING_PROFILES
  WHERE service_name = 'my_search_service';

Scores des composants¶

Les scores des composants fournissent des informations de notation détaillées pour les résultats de la recherche. Ils permettent aux développeurs de comprendre comment les classements de recherche sont déterminés et de déboguer les performances de recherche. Les scores pour chaque résultat sont retournés dans le champ @scores pour chaque « composant » de récupération (texte, vecteur). Les scores des composants sont utiles dans les scénarios où il est nécessaire d’effectuer les actions suivantes :

• Établir des seuils : utilisez les scores des composants pour déterminer quand transmettre les résultats à un processus en aval, tel qu’un agent.

• Débogage des classements de recherche : comprenez pourquoi certains documents ont un rang plus élevé que d’autres dans les résultats de recherche.

{
  "results": [
    {
      "@scores": {
        "cosine_similarity": <cosine_similarity_score>,
        "text_match": <text_match_score>
      }
    }
  ]
}