Large Language Model (LLM)-Funktionen (Snowflake Cortex)¶

Verfügbare Funktionen¶

Snowflake Cortex-Features werden als SQL-Funktionen bereitgestellt und sind auch in Python verfügbar. Cortex LLM-Funktionen lassen sich in die folgenden Kategorien einteilen:

• Funktion COMPLETE

• Aufgabenspezifische Funktionen

• Hilfreiche Funktionen

Erforderliche Berechtigungen¶

Die Datenbankrolle CORTEX_USER der SNOWFLAKE-Datenbank beinhaltet die Berechtigungen, die es dem Benutzer erlauben, Snowflake Cortex-LLM-Funktionen aufzurufen. Die Rolle CORTEX_USER ist standardmäßig der Rolle PUBLIC zugewiesen. Die Rolle PUBLIC wird automatisch allen Benutzern und Rollen zugewiesen, sodass allen Benutzern in Ihrem Konto die Nutzung der Snowflake Cortex-Funktionen-LLM ermöglicht wird.

Wenn Sie nicht möchten, dass alle Benutzer diese Berechtigung haben, können Sie der Rolle PUBLIC die Berechtigung entziehen und den Zugriff nur bestimmten Rollen gewähren.

Um der Rolle PUBLIC die Datenbankrolle CORTEX_USER zu entziehen, führen Sie die folgenden Befehle mit der Rolle ACCOUNTADMIN aus:

REVOKE DATABASE ROLE SNOWFLAKE.CORTEX_USER
  FROM ROLE PUBLIC;

REVOKE IMPORTED PRIVILEGES ON DATABASE SNOWFLAKE
  FROM ROLE PUBLIC;

Sie können dann selektiv bestimmten Rollen Zugriff gewähren. Die Datenbankrolle SNOWFLAKE.CORTEX_USER kann einem Benutzer nicht direkt zugewiesen werden. Weitere Informationen dazu finden Sie unter Verwenden von SNOWFLAKE-Datenbankrollen. Ein Benutzer mit der Rolle ACCOUNTADMIN kann diese Rolle einer kundenspezifischen Rolle zuweisen, um Benutzern den Zugriff auf die Funktionen von Cortex LLM zu ermöglichen. Im folgenden Beispiel verwenden Sie die Rolle ACCOUNTADMIN und weisen dem Benutzer some_user die Datenbankrolle CORTEX_USER über die Kontorolle cortex_user_role zu, die Sie zu diesem Zweck erstellen.

USE ROLE ACCOUNTADMIN;

CREATE ROLE cortex_user_role;
GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE cortex_user_role;

GRANT ROLE cortex_user_role TO USER some_user;

Sie können den Zugriff auf die Snowflake Cortex-LLM-Funktionen auch über bestehende Rollen gewähren, die häufig von bestimmten Benutzergruppen verwendet werden. (siehe Benutzerrollen). Wenn Sie beispielsweise eine analyst-Rolle erstellt haben, die von Analysten in Ihrer Organisation als Standardrolle verwendet wird, können Sie diesen Benutzern mit einer einzigen GRANT-Anweisung schnell Zugriff auf die Snowflake Cortex-LLM-Funktionen gewähren.

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE analyst;

Verfügbarkeit¶

Snowflake Cortex-LLM-Funktionen sind derzeit in den folgenden Regionen verfügbar. Um auf LLMs aus nicht aufgeführten Regionen zuzugreifen, verwenden Sie den regionsübergreifenden Parameter <label-use-cross-region-inference>.

Die folgenden Funktionen von Snowflake Cortex LLM sind derzeit in den folgenden erweiterten Regionen verfügbar.

Die folgende Tabelle listet die älteren Modelle auf. Wenn Sie gerade erst anfangen, beginnen Sie mit den Modellen in den vorherigen Tabellen:

Hinweise zu Kosten¶

Snowflake Cortex-LLM-Funktionen verursachen Computekosten, die sich nach der Anzahl der verarbeiteten Token richten. Die Kosten für jede Funktion in Credits pro Million Token finden Sie in der Snowflake Service Consumption Table.

Ein Token ist die kleinste Texteinheit, die von den Funktionen des Snowflake Cortex LLM verarbeitet wird und etwa vier Zeichen entspricht. Das Verhältnis des ein-/ausgegebene Rohtextes zur Tokenanzahl kann je nach Modell variieren.

• Bei Funktionen, die neuen Text in der Antwort generieren (COMPLETE, CLASSIFY_TEXT, SUMMARIZE und TRANSLATE), werden sowohl Eingabe- als auch Ausgabe-Token gezählt.

• Für CORTEX GUARD werden nur Eingabetoken gezählt. Die Anzahl der Eingabe-Token basiert auf der Anzahl der Ausgabe-Token pro LLM-Modell, das in der Funktion COMPLETE verwendet wird.

• Bei den EMBED_TEXT_*-Funktionen werden nur die Eingabe-Token gezählt.

• Bei Funktionen, die nur Informationen aus der Eingabe extrahieren (EXTRACT_ANSWER und SENTIMENT), werden nur die Eingabe-Token gezählt.

• Bei EXTRACT_ANSWER ergibt sich die Anzahl der abrechenbaren Token aus der Summe der Anzahl der Token in den Feldern from_text und question.

• SUMMARIZE, TRANSLATE, EXTRACT_ANSWER, CLASSIFY_TEXT und SENTIMENT fügen dem Eingabetext einen Prompt hinzu, um die Antwort zu generieren. Daher ist die Anzahl der Eingabe-Token etwas höher als die Anzahl der Token in dem von Ihnen bereitgestellten Text.

• TRY_COMPLETE verursacht keine Kosten für die Fehlerbehandlung. Das bedeutet, dass, wenn die Funktion TRY_COMPLETE NULL zurückgibt, keine Kosten anfallen.

• COUNT_TOKENS verursacht nur Kosten für die Ausführung der Funktion. Es fallen keine zusätzlichen Kosten für Token an.

Snowflake empfiehlt, dass Sie Abfragen, die eine Snowflake Cortex-LLM-Funktion oder die Cortex-PARSE_DOCUMENT-Funktion aufrufen, mit einem kleineren Warehouse (nicht größer als MEDIUM) ausführen, da größere Warehouses die Leistung nicht erhöhen. Die Kosten, die mit dem kontinuierlichen Ausführen eines Warehouses verbunden sind, fallen auch dann an, wenn eine Abfrage ausgeführt wird, die eine Snowflake Cortex-LLM-Funktion aufruft. Allgemeine Informationen zu Computekosten finden Sie unter Erläuterungen zu Computekosten.

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.METERING_DAILY_HISTORY
  WHERE SERVICE_TYPE='AI_SERVICES';

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_USAGE_HISTORY;

Nutzungskontingente¶

Um sicherzustellen, dass alle Snowflake-Kunden auf die LLM-Funktionen zugreifen können, können die Funktionen von Snowflake Cortex LLM in Zeiten hoher Auslastung gedrosselt werden. Nutzungskontingente kommen auf Kontoebene nicht zur Anwendung.

Gedrosselte Anfragen erhalten eine Fehlerantwort und sollten später erneut versucht werden.

Kostenmanagement und Drosselung¶

Snowflake empfiehlt, beim Aufrufen von Snowflake Cortex-LLM-Funktionen eine Warehouse-Größe von maximal MEDIUM zu verwenden. Die Verwendung eines größeren Warehouses als nötig erhöht nicht die Leistung, sondern kann zu unnötigen Kosten und einem höheren Risiko der Drosselung führen. Diese Empfehlung gilt möglicherweise in Zukunft nicht mehr, da die Produkte aktualisiert werden.

Modelleinschränkungen¶

Für die von Snowflake Cortex verwendeten Modelle gelten die in der nachstehenden Tabelle beschriebenen Größenbeschränkungen. Die Größen sind in Anzahl von Token angegeben. Token stehen in der Regel für etwa vier Zeichen Text, sodass die Anzahl der Wörter, die einer Beschränkung entsprechen, geringer ist als die Anzahl der Token. Eingaben, die dieses Limit überschreiten, führen zu einem Fehler.

Auswählen eines Modells¶

Die Snowflake Cortex-Funktion COMPLETE unterstützt mehrere Modelle mit unterschiedlichen Fähigkeiten, Latenzen und Kosten. Diese Modelle wurden sorgfältig ausgewählt, um den gängigen Anwendungsfällen der Kunden gerecht zu werden. Um die beste Leistung pro Credit zu erzielen, wählen Sie ein Modell, das gut zu Umfang und Komplexität des Inhalts Ihrer Aufgabe passt. Im Folgenden finden Sie einen kurzen Überblick über die verfügbaren Modelle.

Übersicht zu LLM-Funktionen¶

Cortex LLM-Funktionen lassen sich in die folgenden Kategorien einteilen:

• COMPLETE-Funktion: Eine Funktion für allgemeine Zwecke, die eine Vielzahl von benutzerspezifischen Aufgaben ausführen kann, wie z. B. aspektbasierte Standpunktklassifizierung, Generierung synthetischer Daten und benutzerdefinierte Zusammenfassungen. Sie können diese Funktion auch mit Ihren Fine-Tuning-Modellen nutzen.

• Aufgabenspezifische Funktionen: Speziell entwickelte und verwaltete Funktionen, die Routineaufgaben automatisieren, wie z. B. einfache Zusammenfassungen und schnelle Übersetzungen, die keine Anpassung erfordern.

• Hilfsunktionen: Speziell entwickelte und verwaltete Funktionen, die Fehler bei der Ausführung anderer LLM-Funktionen reduzieren, indem sie z. B. die Anzahl der Token in einer Eingabeaufforderung abfragen, um sicherzustellen, dass der Aufruf eine Modellbeschränkung nicht überschreitet.

Fehlerbedingungen¶

Snowflake Cortex-LLM-Funktionen können die folgenden Fehlermeldungen erzeugen.

Verwenden von Snowflake Cortex-LLM-Funktionen mit Python¶

Snowflake Cortex-LLM-Funktionen sind in Snowpark ML, Version 1.1.2 und höher verfügbar. Eine Anleitung zum Einrichten von Snowpark ML finden Sie unter Lokale Verwendung von Snowflake ML.

Wenn Sie Ihr Python-Skript außerhalb von Snowflake ausführen, müssen Sie eine Snowpark-Sitzung erstellen, um diese Funktionen nutzen zu können. Eine Anleitung dazu finden Sie unter Verbinden mit Snowflake.

Das folgende Python-Beispiel zeigt den Aufruf von Snowflake Cortex-LLM-Funktionen für einzelne Werte:

from snowflake.cortex import Complete, ExtractAnswer, Sentiment, Summarize, Translate, ClassifyText

text = """
    The Snowflake company was co-founded by Thierry Cruanes, Marcin Zukowski,
    and Benoit Dageville in 2012 and is headquartered in Bozeman, Montana.
"""

print(Complete("llama2-70b-chat", "how do snowflakes get their unique patterns?"))
print(ExtractAnswer(text, "When was snowflake founded?"))
print(Sentiment("I really enjoyed this restaurant. Fantastic service!"))
print(Summarize(text))
print(Translate(text, "en", "fr"))
print(ClassifyText("France", ["Europe", "Asia"]))

Sie können auch eine LLM-Funktion für eine Tabellenspalte aufrufen, wie unten gezeigt. Dieses Beispiel erfordert ein Sitzungsobjekt (gespeichert in session) und eine Tabelle articles mit einer Textspalte abstract_text. Das Beispiel erstellt eine neue Spalte abstract_summary mit einer Zusammenfassung des Abstracts.

from snowflake.cortex import Summarize
from snowflake.snowpark.functions import col

article_df = session.table("articles")
article_df = article_df.withColumn(
    "abstract_summary",
    Summarize(col("abstract_text"))
)
article_df.collect()

Verwendung der Snowflake Cortex-LLM-Funktionen mit Snowflake CLI¶

Die von Snowflake Cortex-LLM-Funktionen sind in Snowflake CLI Version 2.4.0 und höher verfügbar. Unter Einführung in Snowflake CLI finden Sie weitere Informationen zur Verwendung von Snowflake CLI.

Die folgenden Beispiele veranschaulichen die Verwendung der Befehle snow cortex für einzelne Werte. Der Parameter -c gibt an, welche Verbindung zu verwenden ist.

snow cortex complete "Is 5 more than 4? Please answer using one word without a period." -c "snowhouse"

snow cortex extract-answer "what is snowflake?" "snowflake is a company" -c "snowhouse"

snow cortex sentiment "Mary had a little Lamb" -c "snowhouse"

snow cortex summarize "John has a car. John's car is blue. John's car is old and John is thinking about buying a new car. There are a lot of cars to choose from and John cannot sleep because it's an important decision for John."

snow cortex translate herb --to pl

Sie können auch Dateien verwenden, die den Text enthalten, den Sie für die Befehle verwenden möchten. Für dieses Beispiel nehmen wir an, dass die Datei about_cortex.txt den folgenden Inhalt hat:

Snowflake Cortex gives you instant access to industry-leading large language models (LLMs) trained by researchers at companies like Mistral, Reka, Meta, and Google, including Snowflake Arctic, an open enterprise-grade model developed by Snowflake.

Since these LLMs are fully hosted and managed by Snowflake, using them requires no setup. Your data stays within Snowflake, giving you the performance, scalability, and governance you expect.

Snowflake Cortex features are provided as SQL functions and are also available in Python. The available functions are summarized below.

COMPLETE: Given a prompt, returns a response that completes the prompt. This function accepts either a single prompt or a conversation with multiple prompts and responses.
EMBED_TEXT_768: Given a piece of text, returns a vector embedding that represents that text.
EXTRACT_ANSWER: Given a question and unstructured data, returns the answer to the question if it can be found in the data.
SENTIMENT: Returns a sentiment score, from -1 to 1, representing the detected positive or negative sentiment of the given text.
SUMMARIZE: Returns a summary of the given text.
TRANSLATE: Translates given text from any supported language to any other.

Sie können dann den Befehl snow cortex summarize ausführen, indem Sie den Dateinamen über den Parameter --file übergeben, wie gezeigt:

snow cortex summarize --file about_cortex.txt

Snowflake Cortex offers instant access to industry-leading language models, including Snowflake Arctic, with SQL functions for completing prompts (COMPLETE), text embedding (EMBED\_TEXT\_768), extracting answers (EXTRACT\_ANSWER), sentiment analysis (SENTIMENT), summarizing text (SUMMARIZE), and translating text (TRANSLATE).

Weitere Informationen zu diesen Befehlen finden Sie unter snow cortex-Befehle.

Rechtliche Hinweise¶

Die Datenklassifizierung der Eingaben und Ausgaben ist in der folgenden Tabelle aufgeführt.

Weitere Informationen dazu finden Sie unter KI und ML in Snowflake.