Cortex Search¶

Überblick¶

Cortex Search ermöglicht eine qualitativ hochwertige „unscharfe“ Suche mit geringer Latenz in Ihren Snowflake-Daten. Cortex Search ermöglicht Snowflake-Benutzern ein breites Spektrum an Suchmöglichkeiten, darunter Retrieval Augmented Generation (RAG)-Anwendungen, die Large Language Models (LLMs) nutzen.

Mit Cortex Search können Sie eine hybride (Vektor- und Schlüsselwort-) Suchmaschine für Ihre Textdaten in wenigen Minuten in Betrieb nehmen, ohne sich um die Einbettung, die Wartung der Infrastruktur, die Abstimmung der Parameter für die Suchqualität oder die laufende Indexaktualisierung kümmern zu müssen. Das bedeutet, dass Sie weniger Zeit für die Optimierung der Infrastruktur und der Suchqualität aufwenden müssen und mehr Zeit für die Entwicklung hochwertiger Chat- und Sucherlebnisse unter Verwendung Ihrer Daten haben. In den Cortex Search Tutorials finden Sie Schritt-für-Schritt-Anweisungen zur Verwendung von Cortex Search für AI-Chat- und Suchanwendungen.

Wann Sie Cortex Search verwenden sollten¶

Die beiden Hauptanwendungsfälle für Cortex Search sind das Abrufen von Augmented Generation (RAG) und die Unternehmenssuche.

• RAG Engine für LLM Chatbots: Verwenden Sie Cortex Search als RAG-Engine für Chat-Anwendungen mit Ihren Textdaten, indem Sie die semantische Suche für individuelle, kontextbezogene Antworten nutzen.

• Enterprise-Suche: Verwenden Sie Cortex Search als Backend für eine hochwertige, in Ihre Anwendung eingebettete Suchleiste.

Cortex Search für RAG¶

Retrieval Augmented Generation (RAG) ist eine Technik zum Abrufen von Daten aus einer Wissensdatenbank, um die generierte Antwort eines großen Sprachmodells zu verbessern. Das folgende Architekturdiagramm zeigt, wie Sie Cortex Search mit Cortex LLM-Funktionen kombinieren können, um Unternehmens-Chatbots mit RAG zu erstellen, die Ihre Snowflake-Daten als Wissensdatenbank nutzen.

Cortex Search ist die Suchmaschine, die das Large Language Model mit dem nötigen Kontext versorgt, um Antworten zu liefern, die auf Ihren aktuellsten proprietären Daten beruhen.

Beispiel¶

Dieses Beispiel führt Sie durch die Schritte zur Erstellung eines Cortex Search Service und dessen Abfrage mithilfe der REST API. Weitere Einzelheiten zur Abfrage des Services finden Sie unter Abfrage eines Cortex Search Service.

Dieses Beispiel verwendet ein Beispieldatenset für ein Kundensupport-Transkript.

Führen Sie die folgenden Befehle aus, um die Beispieldatenbank und das Schema einzurichten.

CREATE DATABASE IF NOT EXISTS cortex_search_db;

CREATE OR REPLACE WAREHOUSE cortex_search_wh WITH
   WAREHOUSE_SIZE='X-SMALL';

CREATE OR REPLACE SCHEMA cortex_search_db.services;

Führen Sie die folgenden SQL-Befehle aus, um das Datenset zu erstellen.

CREATE OR REPLACE TABLE support_transcripts (
    transcript_text VARCHAR,
    region VARCHAR,
    agent_id VARCHAR
);

INSERT INTO support_transcripts VALUES
    ('My internet has been down since yesterday, can you help?', 'North America', 'AG1001'),
    ('I was overcharged for my last bill, need an explanation.', 'Europe', 'AG1002'),
    ('How do I reset my password? The email link is not working.', 'Asia', 'AG1003'),
    ('I received a faulty router, can I get it replaced?', 'North America', 'AG1004');

CREATE OR REPLACE CORTEX SEARCH SERVICE transcript_search_service
  ON transcript_text
  ATTRIBUTES region
  WAREHOUSE = cortex_search_wh
  TARGET_LAG = '1 day'
  EMBEDDING_MODEL = 'snowflake-arctic-embed-l-v2.0'
  AS (
    SELECT
        transcript_text,
        region,
        agent_id
    FROM support_transcripts
);

GRANT USAGE ON DATABASE cortex_search_db TO ROLE customer_support;
GRANT USAGE ON SCHEMA services TO ROLE customer_support;

GRANT USAGE ON CORTEX SEARCH SERVICE transcript_search_service TO ROLE customer_support;

SELECT PARSE_JSON(
  SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
      'cortex_search_db.services.transcript_search_service',
      '{
        "query": "internet issues",
        "columns":[
            "transcript_text",
            "region"
        ],
        "filter": {"@eq": {"region": "North America"} },
        "limit":1
      }'
  )
)['results'] as results;

[
  {
  "transcript_text" : "My internet has been down since yesterday, can you help?",
  "region" : "North America"
  }
]

SELECT
  *
FROM
  TABLE (
    CORTEX_SEARCH_DATA_SCAN (
      SERVICE_NAME => 'transcript_search_service'
    )
  );

+ ---------------------------------------------------------- + --------------- + -------- + ------------------------------ +
|                      transcript_text                       |     region      | agent_id | _GENERATED_EMBEDDINGS_MY_MODEL |
| ---------------------------------------------------------- | --------------- | -------- | ------------------------------ |
| 'My internet has been down since yesterday, can you help?' | 'North America' | 'AG1001' | [0.1, 0.2, 0.3, 0.4]           |
| 'I was overcharged for my last bill, need an explanation.' | 'Europe'        | 'AG1002' | [0.1, 0.2, 0.3, 0.4]           |
+ ---------------------------------------------------------- + --------------- + -------- + ------------------------------ +

from snowflake.core import Root
from snowflake.snowpark import Session

CONNECTION_PARAMETERS = {"..."}

session = Session.builder.configs(CONNECTION_PARAMETERS).create()
root = Root(session)

transcript_search_service = (root
  .databases["cortex_search_db"]
  .schemas["services"]
  .cortex_search_services["transcript_search_service"]
)

resp = transcript_search_service.search(
  query="internet issues",
  columns=["transcript_text", "region"],
  filter={"@eq": {"region": "North America"} },
  limit=1
)
print(resp.to_json())

{
  "results": [
    {
      "transcript_text": "My internet has been down since yesterday, can you help?",
      "region": "North America"
    }
  ],
  "request_id": "5d8eaa5a-800c-493c-a561-134c712945ba"
}

Erforderliche Berechtigungen¶

• To create a Cortex Search Service, your role must have the required privileges to use the Cortex embedding functions, which requires granting the SNOWFLAKE.CORTEX_USER database role or the SNOWFLAKE.CORTEX_EMBED_USER database role to the service creator role. You must also have the following privileges:

  • CREATE CORTEX SEARCH SERVICE oder OWNERSHIP für das Schema, in dem Sie den Dienst erstellen.

  • SELECT für die zugrunde liegenden Tabellen oder Ansichten, die der Dienst abfragt.

  • USAGE für das Warehouse, das den Dienst aktualisiert.

• Change tracking must be enabled on all underlying objects used by a Cortex Search Service. For more information about change tracking requirements, see Change Tracking Requirements.

• Um einen Cortex Search Service abzufragen, muss die Rolle des abfragenden Benutzers über die Berechtigung USAGE für den Dienst selbst sowie für die Datenbank und das Schema, in dem sich der Dienst befindet, verfügen. Siehe Anforderungen an die Cortex Search-Zugriffssteuerung Anforderungen.

• Um einen Cortex Search Service mit dem Befehl ALTER auszusetzen oder wieder fortzusetzen, muss die Rolle des abfragenden Benutzers die Berechtigung OPERATE für den Service haben. Siehe ALTER CORTEX SEARCH SERVICE.

Die Qualität von Cortex Search verstehen¶

Cortex Search nutzt eine Reihe von Abruf- und Ranking-Modellen, um Ihnen ein hohes Maß an Suchqualität zu bieten, wobei nur wenig bis gar keine Anpassung erforderlich ist. Im Hintergrund verfolgt Cortex Search einen „hybriden“ Ansatz zum Abrufen und Rankint von Dokumenten. Jede Suchabfrage verwendet:

• Vektorsuche zum Abrufen von semantisch ähnlichen Dokumenten.

• Schlüsselwortsuche zum Abrufen von lexikalisch ähnlichen Dokumenten.

• Semantische Neusortierung zur Neusortierung der relevantesten Dokumente in der Ergebnismenge

Dieser hybride Abrufansatz, gekoppelt mit einem semantischen Reranking-Schritt, erreicht eine hohe Suchqualität über eine breite Palette von Datasets und Abfragen.

Sie können die Bewertung der Suchergebnisse anpassen, indem Sie numerische Erhöhungen, Zeitveränderungen anwenden, Komponentengewichtungen anpassen oder die Neusortierung deaktivieren. Weitere Informationen dazu finden Sie unter Anpassen des Cortex Search-Scoring.

SELECT SNOWFLAKE.CORTEX.COUNT_TOKENS('snowflake-arctic-embed-m', '<input_text>') as token_count

Aktualisierungen¶

Der Inhalt, der in einem Cortex Search Service angeboten wird, basiert auf den Ergebnissen einer bestimmten Abfrage. Wenn sich die einem Cortex Search Service zugrunde liegenden Daten ändern, wird der Service aktualisiert, um diese Änderungen widerzuspiegeln. Diese Aktualisierungen werden als Auffrischung (engl. refresh) bezeichnet. Dieser Prozess ist automatisiert und umfasst die Analyse der Abfrage, die der Tabelle zugrunde liegt.

Die Cortex Search Services haben die gleichen Eigenschaften wie die dynamische Tabellen. Unter Initialisierung und Aktualisierung dynamischer Tabellen verstehen finden Sie Informationen zu den Aktualisierungsmerkmalen eines Cortex Search Service.

Die Quellabfrage für einen Cortex Search Service muss ein Kandidat für die dynamische inkrementelle Tabellenaktualisierung sein. Einzelheiten zu diesen Anforderungen finden Sie unter Unterstützung von inkrementellen Aktualisierungen. Diese Einschränkung soll verhindern, dass die Kosten für die Berechnung der Vektoreinbettung unkontrolliert steigen. Weitere Informationen über die Konstrukte, die für die dynamische inkrementelle Aktualisierung von Tabellen nicht unterstützt werden, finden Sie unter Unterstützte Abfragen für dynamische Tabellen.

CREATE OR REPLACE CORTEX SEARCH SERVICE transcript_search_service
  ON transcript_text
  PRIMARY KEY (region, agent_id)
  WAREHOUSE = cortex_search_wh
  TARGET_LAG = '1 day'
  AS (
    SELECT
        transcript_text, region, agent_id
    FROM support_transcripts
);

Anhalten der Indizierung und Bereitstellung¶

Ähnlich wie bei Dynamic Tables setzt Cortex Search Services den Indizierungsstatus automatisch aus, wenn fünf aufeinanderfolgende Aktualisierungsfehler in Bezug auf die Ausgangsabfrage festgestellt werden. Wenn dieser Fehler bei Ihrem Service auftritt, können Sie den spezifischen SQL-Fehler entweder unter DESCRIBE CORTEX SEARCH SERVICE oder unter Ansicht CORTEX_SEARCH_SERVICES anzeigen. Die Ausgabe von beiden umfasst die folgenden Spalten:

• Die Spalte INDEXING_STATE wird den Wert SUSPENDED haben.

• Die Spalte INDEXING_ERROR enthält den spezifischen SQL-Fehler, der in der Quellabfrage aufgetreten ist.

Sobald die Ursache behoben ist, können Sie den Dienst unter ALTER CORTEX SEARCH SERVICE <name> RESUME INDEXING fortsetzen. Für eine detaillierte Syntax siehe ALTER CORTEX SEARCH SERVICE.

Hinweise zu Kosten¶

Ein Cortex Search Service verursacht Kosten auf folgende Weise:

Bewährte Verfahren zur Verwaltung der Kosten eines Cortex Search Service finden Sie unter Die Kosten für Cortex Search Services verstehen.

Um die AI Services-bezogenen Verbrauchskosten für jeden Cortex Search Service in Ihrem Konto, täglich aggregiert, anzuzeigen, besuchen Sie die Ansicht CORTEX_SEARCH_DAILY_USAGE_HISTORY

Bekannte Einschränkungen¶

Die Verwendung von Cortex Search unterliegt den folgenden Beschränkungen:

• Größe der Basistabelle: Das Ergebnis der materialisierten Abfrage im Suchdienst muss weniger als 100 Millionen Zeilen groß sein, um eine optimale Leistung zu gewährleisten. Wenn das materialisierte Ergebnis Ihrer Abfrage mehr als 100M Zeilen enthält, schlägt die Erstellungsabfrage mit einem Fehler fehl.

  Bemerkung

  Um die Beschränkungen der Zeilenskalierung bei einem Cortex Search Service über 100 Mio. zu erhöhen, wenden Sie sich bitte an das Team Ihres Snowflake-Kontos.

• Abfragekonstrukte: Die Abfragen des Cortex Search Service müssen denselben Abfragebeschränkungen unterliegen wie die dynamischen Tabellen. Weitere Informationen finden Sie unter Beschränkungen für dynamische Tabellen.

• Replikation und Klonen: Die Cortex Search Services unterstützen Replikation oder Klonen nicht. Die Unterstützung für diese Features wird in einem zukünftigen Release verfügbar sein.

• Unveränderlichkeit der Tabelle: Während der Ausführung erfordern Ihre Cortex Search Services, dass Tabellen, auf die sie zugreifen, nicht geändert oder gelöscht werden. Um die von einem Cortex Search Service verwendeten Tabellen auf sichere Weise zu aktualisieren, müssen Sie den Service anhalten, bevor Sie Ihre Änderungen vornehmen.

Regionale Verfügbarkeit¶

Dieses Feature ist für Konten in den folgenden Snowflake-Regionen verfügbar: Die Verfügbarkeit für bestimmte Einbettungsmodelle innerhalb einer Region ist durch ein Häkchen gekennzeichnet.

Cortex Search ist in den folgenden Regionen nur mit regionenübergreifender Inferenz verfügbar. Um die Cortex Search mit regionenübergreifender Inferenz zu nutzen, verwenden Sie den Parameter regionenübergreifende Inferenz.

• AWS Europa (Paris)

• AWS Europa (Zürich)

• AWS Asia Pacific (Singapur)

• AWS Asia Pacific (Osaka)

• Azure Canada Central (Toronto)

• Azure Central US (Iowa)

• Azure UAE North (Dubai)

Rechtliche Hinweise¶

Die Datenklassifizierung der Eingaben und Ausgaben ist in der folgenden Tabelle aufgeführt.

Weitere Informationen dazu finden Sie unter KI und ML in Snowflake.