Cortex Wissens-Erweiterungen

Cortex Wissens-Erweiterungen (CKEs) sind Cortex Search Services, die auf dem Snowflake Marketplace oder über private Freigabeangebote oder Organisations-Freigabeangebote geteilt werden können. Sie können in einer Retrieval-Augmented Generation (RAG)-Architektur verwendet werden, um lizenzierte und proprietäre Inhalte in Cortex AI-Anwendungen zu integrieren. Zum Beispiel kann CKEs verwendet werden, um Wissen aus unstrukturierten Inhalten wie Artikeln, Marktforschungen, Büchern oder Forenbeiträgen in Cortex AI-Anwendungen wie Chatbots und Agentensysteme zu integrieren.

Wie funktioniert CKE?

Das funktioniert so:

  1. Ein Anbieter lädt seine Textdaten in eine Tabelle in seinem Konto hoch und erstellt einen Cortex Search Service auf dieser Tabelle. Dieser Cortex Search Service wird dann auf dem Snowflake Marketplace freigegeben. Ein Cortex Search Service, der auf dem Snowflake Marketplace gemeinsam genutzt wird, wird als Cortex Wissens-Erweiterung (CKE) bezeichnet.

  2. Ein Verbraucher erstellt eine Anwendung, die Cortex AI nutzt, wie z. B. einen Chatbot, indem er Cortex AISQL oder den Cortex Agent API mit der CKE verwendet.

  3. Wenn eine Eingabeaufforderung an die Anwendung Cortex AI gegeben wird, die in eine CKE integriert ist, wird die Eingabeaufforderung an die CKE weitergeleitet, um relevantes Wissen durch eine semantische Suche zu erhalten. Das relevante Wissen wird an die LLM der Cortex AI-Anwendungen zurückgegeben und durchdacht, bevor dem Benutzer eine Antwort mit Zitaten und Quellenangabe zurückgegeben wird.

Ein Flussdiagramm, das den Arbeitsablauf der CKE vom Cortex-Suchdienst eines Anbieters über einen Suchindex bis hin zu einer Antwort in der Eingabeaufforderung eines Verbrauchers zeigt.

CKE-Features

Einige der wichtigsten Features von Cortex Wissens-Erweiterungen sind:

Jedes dieser Features wird im Folgenden ausführlicher beschrieben.

Schutz des Inhalts

Anbieter können den Prozentsatz der indizierten Inhalte in ihrer CKE begrenzen, der innerhalb eines rollierenden 24-Stunden-Zeitraums an ihre Kunden zurückgegeben werden kann. Dazu legen Sie mit den folgenden Befehlen einen Schwellenwert fest. Der Schwellenwert wird nicht auf der Ebene des einzelnen Dokuments angewendet, sondern auf den gesamten Korpus der indizierten Inhalte. Die Verbraucher können nur auf den Schwellenprozentsatz der indizierten Inhalte in der CKE zugreifen.

Weitere Informationen über das Feld cke_content_protection finden Sie im Freigabeangebot für Manifestreferenz.

-- Use CREATE to create a new CKE listing with content protection.
-- Use ALTER to update an existing listing with content protection.

-- This example creates a CKE listing targeting to two accounts.
create external listing CKE_LISTING
share CKE_SHARE as
$$
title: "CKE Listing Title"
description: "Cortex Knowledge Extension Listing Description"
listing_terms:
  type: "STANDARD"
auto_fulfillment:
  refresh_type: "SUB_DATABASE"
  refresh_schedule: "1440 MINUTE"
targets:
  accounts:
    - "ORG1.ACCOUNT1"
    - "ORG2.ACCOUNT2"
cke_content_protection:
  enable: true,
  threshold: 0.2
$$

-- describe listing CKE_LISTING
-- See the manifest_yaml column for the cke_content_protection setting
Copy

Wenn ein Verbraucher den Schwellenwert erreicht hat, werden Abfragen an die CKE blockiert, und der Verbraucher erhält folgende Fehlermeldung:

You have reached the content protection threshold. Please try again later.

Der Verbraucher kann die Daten erneut abfragen, wenn der Schwellenwert aktualisiert wird.

Verwaltung

Sie können die Anzahl der Abfragen sehen, die die CKE ausgeführt hat, indem Sie sich bei Snowsight anmelden und zur Seite Provider Studio » Home navigieren. Der Abschnitt Analytics zeigt die Anzahl der ausgeführten Abfragen.

Support von Testversionen

Als Anbieter können Sie Ihren Kunden eine begrenzte Testversion Ihrer CKE anbieten, damit sie Ihr Produkt ausprobieren können, bevor sie dafür bezahlen.

Monetarisierung

Cortex Wissens-Erweiterungen können über die plattformeigene Funktion Snowflake Marketplace-Monetarisierungs über Abonnements oder über plattformunabhängige Monetarisierung monetarisiert werden.

Regionsverfügbarkeit

Cortex Wissens-Erweiterungen sind in jeder Region verfügbar, in der Cortex Search verfügbar ist.

Wichtige Überlegungen

Denken Sie daran, dass Sie bei Kunden, die Ihre Cortex Wissens-Erweiterung verwenden, vorsichtig sein müssen, wenn Sie die Bereitstellung des Cortex Search Service deaktivieren, da dies die Anwendungen Ihrer Kunden beeinträchtigen kann.

Informationen zur erweiterten Einstellung einer Cortex Wissens-Erweiterung finden Sie in der Dokumentation zu Cortex Search.

Zitate

Um sicherzustellen, dass die CKE Zitate liefert, stellen Sie bei der Konfiguration der Cortex Search Services sicher, dass Sie eine SOURCE_URL-Spalte aufnehmen, die auf die Quelle des Dokuments in den indizierten Spalten verweist. Dies kann von LLMs oder Snowflake Intelligence verwendet werden, um eine eindeutige Zuordnung und Hyperlinks zurück zum Quellmaterial zu liefern.

Veröffentlichen der CKE auf dem Snowflake Marketplace

Nachdem Sie einen Cortex Search Service erstellt haben, den Sie auf dem Marketplace veröffentlichen möchten, erstellen Sie ein Freigabeangebot. Vergewissern Sie sich, dass Sie auf das Objekt Cortex Search Service verweisen, das Sie als Objekt erstellt haben, das Sie veröffentlichen möchten.

Gespräch mit der CKE

Sie können die folgenden Methoden verwenden, um der CKE Fragen zu stellen.

  • Verwenden Sie den Cortex Search Playground:

    1. Navigieren Sie in Snowsight zu AI & ML » Cortex Search.

    2. Wählen Sie die CKE aus dem Dropdown-Menü Database/Schema.

    3. Klicken Sie auf Playground in der oberen rechten Ecke.

    4. Geben Sie eine Abfrage ein und sehen Sie sich die Ergebnisse an

  • Verwenden Sie Snowflake Intelligence:

  • Verwenden Sie Cortex Agent API:

    • Verwenden Sie den Cortex Agent API, und geben Sie die gemeinsame CKE im Parameter CREATE CORTEX SEARCH an. Weitere Informationen finden Sie in der Dokumentation Cortex Agent API.

Aktualisieren Sie Ihre CKE

Eine CKE auf dem neuesten Stand zu halten, ist ein häufiger Anwendungsfall für Anbieter, die regelmäßig neue oder aktualisierte Inhalte einführen. Gehen Sie wie folgt vor, um sicherzustellen, dass Ihre Cortex Wissens-Erweiterung auf dem neuesten Stand ist:

  1. Vergewissern Sie sich, dass die zugrunde liegende Tabelle mit den Inhalten über einen separaten Prozess des Einfügens neuer/aktualisierter Dokumente in Ihr Snowflake-Konto aktualisiert wurde.

  2. Überprüfen Sie die Zielverzögerung des Cortex Search Service. Der Cortex Search Service ist so konfiguriert, dass er die Daten bis zu einem bestimmten target_lag aktualisiert und frisch hält. Weitere Informationen zu target_lag finden Sie im Thema Cortex Search SQL-Verwendung.

  3. Führen Sie die folgenden Befehle aus, um sicherzustellen, dass der Cortex Search Service indiziert.

    -- Get the status of the search service
    DESCRIBE CORTEX SEARCH SERVICE cke_simple_cortex_search_service;
    
    -- If the indexing status is suspended, you can resume it with the following command
    ALTER CORTEX SEARCH SERVICE cke_simple_cortex_search_service RESUME INDEXING;
    
    Copy

CKE und automatischer Ausführung

Verbraucher können nur auf eine Cortex Wissens-Erweiterung zugreifen, die in ihrer Region verfügbar ist. Anbieter können ihren Cortex Search Service automatisch in entfernte Regionen replizieren, indem sie auf ihrer Cortex Wissens-Erweiterungs-Liste in Provider Studio die automatische Ausführung aktivieren.

Einschränkungen