Cortex Search¶

Überblick¶

Cortex Search ermöglicht eine qualitativ hochwertige „unscharfe“ Suche mit geringer Latenz in Ihren Snowflake-Daten. Cortex Search ermöglicht Snowflake-Benutzern ein breites Array an Suchmöglichkeiten, darunter Retrieval Augmented Generation (RAG) Anwendungen, die Large Language Models (LLMs) nutzen.

Mit Cortex Search können Sie eine hybride (Vektor- und Schlüsselwort-) Suchmaschine für Ihre Textdaten in wenigen Minuten in Betrieb nehmen, ohne sich um die Einbettung, die Wartung der Infrastruktur, die Abstimmung der Parameter für die Suchqualität oder die laufende Indexaktualisierung kümmern zu müssen. Das bedeutet, dass Sie weniger Zeit für die Optimierung der Infrastruktur und der Suchqualität aufwenden müssen und mehr Zeit für die Entwicklung hochwertiger Chat- und Sucherlebnisse unter Verwendung Ihrer Daten haben. In den Cortex Search Tutorials finden Sie Schritt-für-Schritt-Anweisungen zur Verwendung von Cortex Search für AI-Chat- und Suchanwendungen.

Wann Sie Cortex Search verwenden sollten¶

Die beiden Hauptanwendungsfälle für Cortex Search sind das Abrufen von Augmented Generation (RAG) und die Unternehmenssuche.

• RAG Engine für LLM Chatbots: Verwenden Sie Cortex Search als RAG-Engine für Chat-Anwendungen mit Ihren Textdaten, indem Sie die semantische Suche für individuelle, kontextbezogene Antworten nutzen.

• Enterprise-Suche: Verwenden Sie Cortex Search als Backend für eine hochwertige, in Ihre Anwendung eingebettete Suchleiste.

Cortex Search für RAG¶

Retrieval Augmented Generation (RAG) ist eine Technik zum Abrufen von Daten aus einer Wissensdatenbank, um die generierte Antwort eines großen Sprachmodells zu verbessern. Das folgende Architekturdiagramm zeigt, wie Sie Cortex Search mit Cortex LLM-Funktionen kombinieren können, um Unternehmens-Chatbots mit RAG zu erstellen, die Ihre Snowflake-Daten als Wissensdatenbank nutzen.

Cortex Search ist die Suchmaschine, die das Large Language Model mit dem nötigen Kontext versorgt, um Antworten zu liefern, die auf Ihren aktuellsten proprietären Daten beruhen.

Beispiel¶

Dieses Beispiel führt Sie durch die Schritte zur Erstellung eines Cortex Search Service und dessen Abfrage mithilfe der REST API. Weitere Einzelheiten zur Abfrage des Services finden Sie unter Abfrage eines Cortex Search Service.

Dieses Beispiel verwendet ein Beispieldatenset für ein Kundensupport-Transkript.

Führen Sie die folgenden Befehle aus, um die Beispieldatenbank und das Schema einzurichten.

CREATE DATABASE IF NOT EXISTS cortex_search_db;

CREATE OR REPLACE WAREHOUSE cortex_search_wh WITH
   WAREHOUSE_SIZE='X-SMALL';

CREATE OR REPLACE SCHEMA cortex_search_db.services;

Führen Sie die folgenden SQL-Befehle aus, um das Datenset zu erstellen.

CREATE OR REPLACE TABLE support_transcripts (
    transcript_text VARCHAR,
    region VARCHAR,
    agent_id VARCHAR
);

INSERT INTO support_transcripts VALUES
    ('My internet has been down since yesterday, can you help?', 'North America', 'AG1001'),
    ('I was overcharged for my last bill, need an explanation.', 'Europe', 'AG1002'),
    ('How do I reset my password? The email link is not working.', 'Asia', 'AG1003'),
    ('I received a faulty router, can I get it replaced?', 'North America', 'AG1004');

Die Änderungsverfolgung ist eine Anforderung für den Aufbau des Cortex Search Service. Wenn Sie eine Rolle verwenden, die nicht die Eigentümerschaft für diese Tabelle hat, um den Search Service zu erstellen, führen Sie die folgende Anweisung aus, um die Änderungsverfolgung für die Tabelle zu aktivieren:

ALTER TABLE support_transcripts SET
  CHANGE_TRACKING = TRUE;

Weitere Informationen zur Aktivierung der Änderungsverfolgung finden Sie unter Änderungsverfolgung aktivieren.

CREATE OR REPLACE CORTEX SEARCH SERVICE transcript_search_service
  ON transcript_text
  ATTRIBUTES region
  WAREHOUSE = cortex_search_wh
  TARGET_LAG = '1 day'
  EMBEDDING_MODEL = 'snowflake-arctic-embed-l-v2.0'
  AS (
    SELECT
        transcript_text,
        region,
        agent_id
    FROM support_transcripts
);

GRANT USAGE ON DATABASE cortex_search_db TO ROLE customer_support;
GRANT USAGE ON SCHEMA services TO ROLE customer_support;

GRANT USAGE ON CORTEX SEARCH SERVICE transcript_search_service TO ROLE customer_support;

SELECT PARSE_JSON(
  SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
      'cortex_search_db.services.transcript_search_service',
      '{
        "query": "internet issues",
        "columns":[
            "transcript_text",
            "region"
        ],
        "filter": {"@eq": {"region": "North America"} },
        "limit":1
      }'
  )
)['results'] as results;

[
  {
  "transcript_text" : "My internet has been down since yesterday, can you help?",
  "region" : "North America"
  }
]

SELECT
  *
FROM
  TABLE (
    CORTEX_SEARCH_DATA_SCAN (
      SERVICE_NAME => 'transcript_search_service'
    )
  );

+ ---------------------------------------------------------- + --------------- + -------- + ------------------------------ +
|                      transcript_text                       |     region      | agent_id | _GENERATED_EMBEDDINGS_MY_MODEL |
| ---------------------------------------------------------- | --------------- | -------- | ------------------------------ |
| 'My internet has been down since yesterday, can you help?' | 'North America' | 'AG1001' | [0.1, 0.2, 0.3, 0.4]           |
| 'I was overcharged for my last bill, need an explanation.' | 'Europe'        | 'AG1002' | [0.1, 0.2, 0.3, 0.4]           |
+ ---------------------------------------------------------- + --------------- + -------- + ------------------------------ +

from snowflake.core import Root
from snowflake.snowpark import Session

CONNECTION_PARAMETERS = {"..."}

session = Session.builder.configs(CONNECTION_PARAMETERS).create()
root = Root(session)

transcript_search_service = (root
  .databases["cortex_search_db"]
  .schemas["services"]
  .cortex_search_services["transcript_search_service"]
)

resp = transcript_search_service.search(
  query="internet issues",
  columns=["transcript_text", "region"],
  filter={"@eq": {"region": "North America"} },
  limit=1
)
print(resp.to_json())

{
  "results": [
    {
      "transcript_text": "My internet has been down since yesterday, can you help?",
      "region": "North America"
    }
  ],
  "request_id": "5d8eaa5a-800c-493c-a561-134c712945ba"
}

Erforderliche Berechtigungen¶

• Um einen Cortex Search Service zu erstellen, muss Ihre Rolle über die Datenbankrolle CORTEX_USER verfügen, die für die Cortex LLM-Funktionen erforderlich ist. Informationen zum Zuweisen und Widerrufen dieser Rolle finden Sie unter Erforderliche Berechtigungen für Cortex LLM-Funktionen.

• Um einen Cortex Search Service abzufragen, muss die Rolle des abfragenden Benutzers über die Berechtigung USAGE für den Dienst selbst sowie für die Datenbank und das Schema, in dem sich der Dienst befindet, verfügen. Siehe Anforderungen an die Cortex Search-Zugriffssteuerung Anforderungen.

• Um einen Cortex Search Service mit dem Befehl ALTER auszusetzen oder wieder fortzusetzen, muss die Rolle des abfragenden Benutzers die Berechtigung OPERATE für den Service haben. Siehe ALTER CORTEX SEARCH SERVICE.

Die Qualität von Cortex Search verstehen¶

Cortex Search nutzt eine Reihe von Abruf- und Ranking-Modellen, um Ihnen ein hohes Maß an Suchqualität zu bieten, wobei nur wenig bis gar keine Anpassung erforderlich ist. Im Hintergrund verfolgt Cortex Search einen „hybriden“ Ansatz zum Abrufen und Rankint von Dokumenten. Jede Suchabfrage verwendet:

• Vektorsuche zum Abrufen von semantisch ähnlichen Dokumenten.

• Schlüsselwortsuche zum Abrufen von lexikalisch ähnlichen Dokumenten.

• Semantische Neusortierung zur Neusortierung der relevantesten Dokumente in der Ergebnismenge

Dieser hybride Abrufansatz, gekoppelt mit einem semantischen Reranking-Schritt, erreicht eine hohe Suchqualität über eine breite Palette von Datasets und Abfragen.

Token-Beschränkungen und Textsplitting¶

Für optimale Suchergebnisse mit der Cortex Search empfiehlt Snowflake, den Text in Ihrer Suchspalte in Blöcke von nicht mehr als 512 Token (etwa 385 englische Wörter) aufzuteilen. Wenn ein Eintrag in der Suchspalte mehr als 512 Token enthält, führt Cortex Search eine schlüsselwortbasierte Suche im gesamten Textkörper durch, verwendet jedoch nur die ersten 512 Token für die semantische (d. h. vektorbasierte) Suche.

Ein Token ist eine Sequenz von Zeichen und die kleinste Texteinheit, die von einem großen Sprachmodell verarbeitet werden kann. Ein Token entspricht ungefähr 3/4 eines englischen Wortes, also etwa 4 Zeichen. Um die genaue Anzahl der Token in einer Zeichenfolge zu berechnen, können Sie die COUNT_TOKENS Cortex-Funktion verwenden. Zum Beispiel die Berechnung der Token für eine Zeichenfolge, die mit dem Modell snowflake-arctic-embed-m-v1.5 eingebettet werden soll:

SELECT SNOWFLAKE.CORTEX.COUNT_TOKENS('snowflake-arctic-embed-m', '<input_text>') as token_count

Aktualisierungen¶

Der Inhalt, der in einem Cortex Search Service angeboten wird, basiert auf den Ergebnissen einer bestimmten Abfrage. Wenn sich die einem Cortex Search Service zugrunde liegenden Daten ändern, wird der Service aktualisiert, um diese Änderungen widerzuspiegeln. Diese Aktualisierungen werden als Auffrischung (engl. refresh) bezeichnet. Dieser Prozess ist automatisiert und umfasst die Analyse der Abfrage, die der Tabelle zugrunde liegt.

Die Cortex Search Services haben die gleichen Eigenschaften wie die dynamische Tabellen. Unter Initialisierung und Aktualisierung dynamischer Tabellen verstehen finden Sie Informationen zu den Aktualisierungsmerkmalen eines Cortex Search Service.

Die Quellabfrage für einen Cortex Search Service muss ein Kandidat für die dynamische inkrementelle Tabellenaktualisierung sein. Einzelheiten zu diesen Anforderungen finden Sie unter Unterstützung von inkrementellen Aktualisierungen. Diese Einschränkung soll verhindern, dass die Kosten für die Berechnung der Vektoreinbettung unkontrolliert steigen. Weitere Informationen über die Konstrukte, die für die dynamische inkrementelle Aktualisierung von Tabellen nicht unterstützt werden, finden Sie unter Unterstützte Abfragen für dynamische Tabellen.

Anhalten der Indizierung und Bereitstellung¶

Ähnlich wie bei Dynamic Tables setzt Cortex Search Services den Indizierungsstatus automatisch aus, wenn fünf aufeinanderfolgende Aktualisierungsfehler in Bezug auf die Ausgangsabfrage festgestellt werden. Wenn dieser Fehler bei Ihrem Service auftritt, können Sie den spezifischen SQL-Fehler entweder unter DESCRIBE CORTEX SEARCH SERVICE oder unter Ansicht CORTEX_SEARCH_SERVICES anzeigen. Die Ausgabe von beiden umfasst die folgenden Spalten:

• Die Spalte INDEXING_STATE wird den Wert SUSPENDED haben.

• Die Spalte INDEXING_ERROR enthält den spezifischen SQL-Fehler, der in der Quellabfrage aufgetreten ist.

Sobald die Ursache behoben ist, können Sie den Dienst unter ALTER CORTEX SEARCH SERVICE <name> RESUME INDEXING fortsetzen. Für eine detaillierte Syntax siehe ALTER CORTEX SEARCH SERVICE.

Hinweise zu Kosten¶

Ein Cortex Search Service verursacht Kosten auf folgende Weise:

Bewährte Verfahren zur Verwaltung der Kosten eines Cortex Search Service finden Sie unter Die Kosten für Cortex Search Services verstehen.

Um die AI Services-bezogenen Verbrauchskosten für jeden Cortex Search Service in Ihrem Konto, täglich aggregiert, anzuzeigen, besuchen Sie die Ansicht CORTEX_SEARCH_DAILY_USAGE_HISTORY

Bekannte Einschränkungen¶

Die Verwendung von Cortex Search unterliegt den folgenden Beschränkungen:

• Größe der Basistabelle: Das Ergebnis der materialisierten Abfrage im Suchdienst muss weniger als 100 Millionen Zeilen groß sein, um eine optimale Leistung zu gewährleisten. Wenn das materialisierte Ergebnis Ihrer Abfrage mehr als 100M Zeilen enthält, schlägt die Erstellungsabfrage mit einem Fehler fehl.

  Bemerkung

  Um die Beschränkungen der Zeilenskalierung bei einem Cortex Search Service über 100 Mio. zu erhöhen, wenden Sie sich bitte an das Team Ihres Snowflake-Kontos.

• Abfragekonstrukte: Die Abfragen des Cortex Search Service müssen denselben Abfragebeschränkungen unterliegen wie die dynamischen Tabellen. Weitere Informationen finden Sie unter Beschränkungen für dynamische Tabellen.

• Replikation und Klonen: Die Cortex Search Services unterstützen Replikation oder Klonen nicht. Die Unterstützung für diese Features wird in einem zukünftigen Release verfügbar sein.

Regionale Verfügbarkeit¶

Dieses Feature ist für Konten in den folgenden Snowflake-Regionen verfügbar: Die Verfügbarkeit für bestimmte Einbettungsmodelle innerhalb einer Region ist durch ein Häkchen gekennzeichnet.

Cortex Search ist in den folgenden Regionen nur mit regionenübergreifender Inferenz verfügbar. Um die Cortex Search mit regionenübergreifender Inferenz zu nutzen, verwenden Sie den Parameter regionenübergreifende Inferenz.

• AWS Europa (Paris)

• AWS Europa (Zürich)

• AWS Asia Pacific (Singapur)

• AWS Asia Pacific (Osaka)

• Azure Canada Central (Toronto)

• Azure Central US (Iowa)

• Azure UAE North (Dubai)

Rechtliche Hinweise¶

Die Datenklassifizierung der Eingaben und Ausgaben ist in der folgenden Tabelle aufgeführt.

Weitere Informationen dazu finden Sie unter KI und ML in Snowflake.