Personalização da pontuação do Cortex Search¶

Aumentos numéricos e decréscimos de tempo¶

Você pode aumentar ou aplicar decadências nos resultados da pesquisa com base em metadados numéricos ou de carimbo de data/hora. Esse recurso é útil quando você tem metadados estruturados, como sinais de popularidade ou atualidade, para cada resultado que podem ajudar a determinar a relevância dos documentos no momento da consulta. Você pode especificar duas categorias de sinais de classificação ao fazer uma consulta:

Os metadados de aumento e decréscimo provêm de colunas na tabela de origem das quais um Cortex Search Service é criado. Você especifica as colunas de metadados que serão usadas para aumentar ou diminuir ao fazer a consulta, mas essas colunas devem ser incluídas durante a criação do Cortex Search Service.

Ao consultar um Cortex Search Service, especifique as colunas a serem usadas para aumento ou redução nos campos opcionais numeric_boosts e time_decays no campo scoring_config.functions. Você também pode especificar o peso de cada aumento ou decréscimo.

{
  "scoring_config": {
    "functions": {
      "numeric_boosts": [
        {
          "column": "column_name",
          "weight": 1
        },
        /* ... */
      ],
      "time_decays": [
        {
          "column": "column_name",
          "weight": 1,
          "limit_hours": 120
        },
        /* ... */
      ]
    }
  }
}

Reclassificação¶

Por padrão, as consultas ao Cortex Search Services utilizam semantic reranking para melhorar a relevância dos resultados de pesquisa. Embora a reclassificação possa aumentar de forma mensurável a relevância do resultado, ele também pode aumentar visivelmente a latência da consulta. Você pode desativar a reclassificação em qualquer consulta do Cortex Search se descobrir que o benefício de qualidade proporcionado pela reclassificação pode ser sacrificado por velocidades de consulta mais rápidas em seu caso de uso comercial.

Você pode desativar o mecanismo de classificação para uma consulta individual no momento da consulta no campo scoring_config.reranker no seguinte formato:

{
  "scoring_config": {
      "reranker": "none"
  }
}

Pesos dos componentes¶

O campo weights no objeto scoring_config permite especificar os pesos dos componentes de pontuação individuais (vectors, texts, reranker) na pontuação geral de cada resultado. Por padrão, os pesos são definidos como 1,0 para cada componente, com uma contribuição igual para a pontuação geral.

Você pode especificar pesos no seguinte formato:

{
  "scoring_config": {
    "functions": {
      "weights": {
        "texts": 3,
        "vectors": 2,
        "reranker": 1
      }
    }
  }
}

{
  "scoring_config": {
    "functions": {
      "weights": {
        "texts": 3,
        "vectors": 1,
        "reranker": 2
      }
    }
  }
}

Perfis de pontuação nomeados¶

Os aumentos/decréscimos e as configurações de reclassificação formam uma configuração de pontuação, que pode ser especificada no parâmetro scoring_config ao fazer uma consulta. As configurações de pontuação também podem receber um nome e anexadas ao Cortex Search Service.

O uso de um perfil de pontuação nomeado permite que você use facilmente uma configuração de pontuação em aplicativos e consultas sem precisar especificar a configuração de pontuação completa a cada vez. Se você alterar a configuração de pontuação, só precisará atualizá-la em um lugar, não em todas as consultas.

Para adicionar um perfil de pontuação ao seu Cortex Search Service, use o comando ALTER CORTEX SEARCH SERVICE … ADD SCORING PROFILE, como mostrado no exemplo a seguir:

ALTER CORTEX SEARCH SERVICE my_search_service
  ADD SCORING PROFILE IF NOT EXISTS heavy_comments_with_likes
  '{
    "functions": {
            "numeric_boosts": [
                { "column": "comments", "weight": 6 },
                { "column": "likes", "weight": 1 }
            ]
    }
  }'

A sintaxe da definição do perfil de pontuação é o mesmo esquema usado no parâmetro scoring_config ao fazer uma consulta.

Os perfis de pontuação não podem ser modificados após serem criados; para alterar um perfil, descarte-o e recriá-lo com a nova configuração de pontuação. Para excluir um perfil de pontuação nomeado, use ALTER CORTEX SEARCH SERVICE … DROP SCORING PROFILE.

Para consultar um Cortex Search Service usando um perfil de pontuação nomeado, especifique o nome do perfil no parâmetro scoring_profile ao fazer uma consulta, como mostrado nos exemplos a seguir:

results = svc.search(
    query="technology",
    columns=["comments", "likes"],
    scoring_profile="heavy_comments_with_likes",
    limit=10
)

curl --location https://<account_url>/api/v2/databases/<db_name>/schemas/<schema_name>/cortex-search-services/<service_name>:query \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header "Authorization: Bearer $PAT" \
--data '{
  "query": "technology",
  "columns": ["DOCUMENT_CONTENTS", "LIKES", "COMMENTS"],
  "scoring_profile": "heavy_comments_with_likes",
  "limit": 10
}'

SELECT SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
  'my_search_service',
  '{
    "query": "technology",
    "columns": ["comments", "likes"],
    "scoring_profile": "heavy_comments_with_likes",
    "limit": 10
  }'
);

Para ver os perfis de pontuação armazenados de um serviço, consulte a exibição CORTEX_SEARCH_SERVICE_SCORING_PROFILES no esquema INFORMATION_SCHEMA, conforme mostrado no exemplo a seguir:

SELECT *
  FROM my_db.INFORMATION_SCHEMA.CORTEX_SEARCH_SERVICE_SCORING_PROFILES
  WHERE service_name = 'my_search_service';

Pontuações dos componentes¶

As pontuações dos componentes fornecem informações detalhadas de pontuação para resultados de pesquisa. Eles permitem que os desenvolvedores entendam como as classificações de pesquisa são determinadas e depurem o desempenho da pesquisa. As pontuações para cada resultado são retornadas no campo @scores para cada “componente” de recuperação (texto, vetor). As pontuações dos componentes são úteis em cenários onde há necessidade de:

• Estabelecer limites: use pontuações de componentes para determinar quando passar resultados para um processo downstream, como um agente.

• Depurar classificações de pesquisa: entenda por que certos documentos têm uma classificação mais alta do que outros nos resultados de pesquisa.

{
  "results": [
    {
      "@scores": {
        "cosine_similarity": <cosine_similarity_score>,
        "text_match": <text_match_score>
      }
    }
  ]
}