Large Language Model (LLM)-Funktionen (Snowflake Cortex)¶

Erforderliche Berechtigungen¶

Die Datenbankrolle CORTEX_USER der SNOWFLAKE-Datenbank beinhaltet die Berechtigungen, die es dem Benutzer erlauben, Snowflake Cortex-LLM-Funktionen aufzurufen. Standardmäßig ist diese Datenbankrolle nur der Rolle ACCOUNTADMIN zugewiesen. ACCOUNTADMIN muss diese Rolle an die Benutzerrollen weitergeben, damit die Benutzer auf die Cortex-LLM-Funktionen zugreifen können.

Die Datenbankrolle SNOWFLAKE.CORTEX_USER kann einem Benutzer nicht direkt zugewiesen werden. Ein Benutzer mit der Rolle ACCOUNTADMIN muss sie zunächst einer Kontorolle zuweisen und dann die Kontorolle den Benutzern zuweisen. Weitere Informationen dazu finden Sie unter Verwenden von SNOWFLAKE-Datenbankrollen.

Im folgenden Beispiel nehmen Sie die Rolle ACCOUNTADMIN an und weisen dem Benutzer some_user die Datenbankrolle CORTEX_USER über die Kontorolle cortex_user_role zu, die Sie zu diesem Zweck erstellen.

USE ROLE ACCOUNTADMIN;

CREATE ROLE cortex_user_role;
GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE cortex_user_role;

GRANT ROLE cortex_user_role TO USER some_user;

Sie können den Zugriff auf die Snowflake Cortex-LLM-Funktionen auch über bestehende Rollen gewähren, die häufig von bestimmten Benutzergruppen verwendet werden. (siehe Benutzerrollen). Wenn Sie beispielsweise eine analyst-Rolle erstellt haben, die von Analysten in Ihrer Organisation als Standardrolle verwendet wird, können Sie diesen Benutzern mit einer einzigen GRANT-Anweisung schnell Zugriff auf die Snowflake Cortex-LLM-Funktionen gewähren.

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE analyst;

Die Pseudorolle PUBLIC wird automatisch allen Benutzern und Rollen zugewiesen, sodass durch Zuweisen von cortex_user_role zu PUBLIC allen Benutzern in Ihrem Konto die Nutzung der Snowflake Cortex-Funktionen-LLM ermöglicht wird.

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE PUBLIC;

Verfügbarkeit¶

Snowflake Cortex-LLM-Funktionen sind derzeit in den folgenden Regionen verfügbar.

Hinweise zu Kosten¶

Snowflake Cortex-LLM-Funktionen verursachen Computekosten, die sich nach der Anzahl der verarbeiteten Token richten. Die folgende Tabelle zeigt die Kosten in Credits pro 1 Millionen Token für jede Funktion.

• Bei Funktionen, die neuen Text in der Antwort generieren (COMPLETE, SUMMARIZE und TRANSLATE), werden sowohl Eingabe- als auch Ausgabe-Token gezählt.

• Bei Funktionen, die nur Informationen aus der Eingabe extrahieren (EXTRACT_ANSWER und SENTIMENT), werden nur die Eingabe-Token gezählt.

• Bei EXTRACT_ANSWER ergibt sich die Anzahl der abrechenbaren Token aus der Summe der Anzahl der Token in den Feldern from_text und question.

Allgemeine Informationen zu Computekosten finden Sie unter Erläuterungen zu den Computekosten.

Die Nutzung von Snowflake Cortex-LLM-Funktionen wird in der Organization Usage-Ansicht METERING_DAILY_HISTORY von Snowflake mit Servicetyp AI_SERVICES angezeigt. Um den Credit-Verbrauch durch KI-Dienste für alle Konten einer Organisation anzuzeigen, verwenden Sie die folgende Abfrage.

SELECT * FROM SNOWFLAKE.ORGANIZATION_USAGE.METERING_DAILY_HISTORY
    WHERE service_type ILIKE '%ai_services%';

Nutzungskontingente¶

Um einen hohen Leistungsstandard für alle Snowflake-Kunden sicherzustellen, unterliegen die Snowflake Cortex-LLM-Funktionen Nutzungskontingenten, bei deren Überschreitung Anfragen gedrosselt werden können. Snowflake kann diese Kontingente von Zeit zu Zeit anpassen. Die Kontingente in der nachstehenden Tabelle gelten pro Konto.

Kostenmanagement und Drosselung¶

Während dieser Vorschau empfiehlt Snowflake, beim Aufrufen von Snowflake Cortex-LLM-Funktionen eine Warehouse-Größe von maximal MEDIUM zu verwenden. Die Verwendung eines größeren Warehouses als nötig erhöht nicht die Leistung, sondern kann zu unnötigen Kosten und einem höheren Risiko der Drosselung führen. Diese Empfehlung gilt möglicherweise in Zukunft nicht mehr, da Produktaktualisierungen anstehen.

Modelleinschränkungen¶

Für die von Snowflake Cortex verwendeten Modelle gelten die in der nachstehenden Tabelle beschriebenen Größenbeschränkungen. Die Größen sind in Anzahl von Token angegeben. Token entsprechen im Allgemeinen Wörtern, aber nicht alle Token sind Wörter, sodass die Anzahl der Wörter, die einem Limit entsprechen, etwas geringer ist als die Anzahl der Token. Eingaben, die dieses Limit überschreiten, führen zu einem Fehler.

Auswählen eines Modells¶

Die Snowflake Cortex-Funktion COMPLETE unterstützt mehrere Modelle mit unterschiedlichen Fähigkeiten, Latenzen und Kosten. Diese Modelle wurden sorgfältig ausgewählt, um den gängigen Anwendungsfällen der Kunden gerecht zu werden. Um die beste Leistung pro Credit zu erzielen, wählen Sie ein Modell, das gut zu Umfang und Komplexität des Inhalts Ihrer Aufgabe passt. Im Folgenden finden Sie einen kurzen Überblick über die verfügbaren Modelle.

• mistral-large ist ein Spitzenmodell, das bei einer Vielzahl von Kennzahlen gut abschneidet (siehe Tabelle unten). Es verfügt über ein Kontextfenster von 32.000 Token (ca. 24.000 Wörter), sodass es in der Lage ist, komplexe Schlussfolgerungen aus ausgedehnten Gesprächen zu ziehen. Es ist auch das rechenintensivste der von Snowflake Cortex angebotenen Modelle und damit auch das teuerste im Betrieb.

• mixtral-8x7b bietet niedrige Latenz und qualitativ hochwertige Ergebnisse und unterstützt zudem eine Kontextlänge von 32.000 Token. Es ist ideal für viele Anwendungsfälle in Produktionsunternehmen.

• llama2-70b-chat eignet sich gut für komplexe, umfangreiche Aufgaben, die ein gewisses Maß an logischem Denken erfordern, wie z. B. das Extrahieren von Daten oder das Formulieren von Stellenbeschreibungen.

• mistral-7b und gemma-7b sind in der Lage, einfache Aufgaben schnell und kosteneffizient auszuführen.

  • mistral-7b ist ideal für einfachsten Verdichtungs- und Klassifizierungsaufgaben, die ein geringeres Maß an Anpassung erfordern. Durch die Begrenzung auf 32.000 Token kann es mehrere Seiten Text verarbeiten.

  • gemma-7b ist für einfache Code- und Textvervollständigungsaufgaben geeignet. Es hat ein Kontextfenster von 8.000 Token, ist aber innerhalb dieses Limits erstaunlich leistungsfähig und recht kostengünstig.

Wenn Sie nicht sicher sind, wo Sie anfangen sollen, probieren Sie zuerst mistral-large aus, unabhängig davon, ob Sie bereits ein anderes Spitzenmodell verwenden oder neu bei LLMs sind. Es ist das leistungsfähigste Modell, das Snowflake Cortex anbietet, und vermittelt Ihnen einen guten Eindruck davon, was ein modernes Modell leisten kann. Seine Ergebnisse können als Baseline für die Bewertung der anderen Modelle verwendet werden.

Um Ihnen die Entscheidung zu erleichtern, finden Sie in der folgenden Tabelle Informationen darüber, wie gängige Modelle bei verschiedenen Benchmarks abschneiden, einschließlich die von Snowflake Cortex-COMPLETE angebotenen Modelle sowie einige andere beliebte Modelle.

^*Zu Vergleichszwecken bereitgestellt; nicht verfügbar in Snowflake Cortex-COMPLETE.

Übersicht zu LLM-Funktionen¶

Fehlerbedingungen¶

Snowflake Cortex-LLM-Funktionen können die folgenden Fehlermeldungen erzeugen.

Verwenden von Snowflake Cortex-LLM-Funktionen mit Python¶

Snowflake Cortex-LLM-Funktionen sind in Snowpark ML, Version 1.1.2 und höher verfügbar. Eine Anleitung zum Einrichten von Snowpark ML finden Sie unter Installieren von Snowpark ML.

Wenn Sie Ihr Python-Skript außerhalb von Snowflake ausführen, müssen Sie eine Snowpark-Sitzung erstellen, um diese Funktionen nutzen zu können. Eine Anleitung dazu finden Sie unter Verbinden mit Snowflake.

Das folgende Python-Beispiel zeigt den Aufruf von Snowflake Cortex-LLM-Funktionen für einzelne Werte:

from snowflake.cortex import Complete, ExtractAnswer, Sentiment, Summarize, Translate

text = """
    The Snowflake company was co-founded by Thierry Cruanes, Marcin Zukowski,
    and Benoit Dageville in 2012 and is headquartered in Bozeman, Montana.
"""

print(Complete("llama2-70b-chat", "how do snowflakes get their unique patterns?"))
print(ExtractAnswer(text, "When was snowflake founded?"))
print(Sentiment("I really enjoyed this restaurant. Fantastic service!"))
print(Summarize(text))
print(Translate(text, "en", "fr"))

Sie können auch eine LLM-Funktion für eine Tabellenspalte aufrufen, wie unten gezeigt. Dieses Beispiel erfordert ein Sitzungsobjekt (gespeichert in session) und eine Tabelle articles mit einer Textspalte abstract_text. Das Beispiel erstellt eine neue Spalte abstract_summary mit einer Zusammenfassung des Abstracts.

from snowflake.cortex import Summarize
from snowflake.snowpark.functions import col

article_df = session.table("articles")
article_df = article_df.withColumn(
    "abstract_summary",
    Summarize(col("abstract_text"))
)
article_df.collect()

Rechtliche Hinweise¶

LLM-basierte Snowflake Cortex-Funktionen werden durch Machine Learning-Technologie unterstützt, einschließlich LLaMA 2 von Meta. Das grundlegende LLaMA 2-Modell ist unter der LLaMA 2 Community-Lizenz und Copyright (c) Meta Platforms, Inc. lizenziert. Alle Rechte vorbehalten. Ihre Verwendung von LLM-Funktionen, die auf dem LLama 2-Modell basieren, unterliegt der Acceptable Use Policy von Meta.

Die Machine Learning-Technologie und die bereitgestellten Ergebnisse können ungenau, unangemessen oder verzerrt sein. Entscheidungen auf der Grundlage von Ergebnissen aus Prozessen des maschinellen Lernens, einschließlich solcher, die in automatische Pipelines integriert sind, erfordern eine von Menschen durchgeführte Überwachung und Überprüfung, um sicherzustellen, dass die vom Modell generierten Inhalte korrekt sind.

Von LLM-Funktionen ausgeführte Abfragen werden wie alle anderen SQL-Abfragen behandelt, deren Metadaten untersucht werden können.

Weitere Informationen dazu finden Sie unter Snowflake AI Trust and Safety FAQ.