Snowflake Cortex AI-Funktionen (einschließlich LLM-Funktionen)¶

Cortex AI-Funktionen¶

Diese aufgabenspezifischen Funktionen sind speziell entwickelte und verwaltete Funktionen, die Routineaufgaben automatisieren, wie z. B. einfache Zusammenfassungen und schnelle Übersetzungen, die keine Anpassung erfordern.

• AI_COMPLETE: Erzeugt eine Vervollständigung für eine gegebene Textzeichenfolge oder ein Bild unter Verwendung eines ausgewählten LLM. Verwenden Sie diese Funktion für die meisten generativen AI-Aufgaben.

  • AI_COMPLETE ist die aktualisierte Version von COMPLETE (SNOWFLAKE.CORTEX).

• AI_CLASSIFY: Klassifiziert Text oder Bilder in benutzerdefinierte Kategorien.

  • AI_CLASSIFY ist die aktualisierte Version von CLASSIFY_TEXT (SNOWFLAKE.CORTEX) mit Unterstützung für Multi-Label- und Bild-Klassifizierung.

• AI_FILTER: Gibt True oder False für eine gegebene Text- oder Bildeingabe zurück, so dass Sie die Ergebnisse in den Klauseln SELECT, WHERE oder JOIN ... ON filtern können.

• AI_AGG: Aggregiert eine Textspalte und liefert auf der Grundlage einer benutzerdefinierten Aufforderung Erkenntnisse über mehrere Zeilen. Diese Funktion unterliegt nicht den Beschränkungen des Kontextfensters.

• AI_EMBED: Generiert einen Einbettungsvektor für eine Text- oder Bildeingabe, der für Ähnlichkeitssuche, Clustering und Klassifizierungsaufgaben verwendet werden kann.

  • AI_EMBED ist die aktualisierte Version von EMBED_TEXT_1024 (SNOWFLAKE.CORTEX).

• AI_EXTRACT: Extrahiert Informationen aus einer Eingabezeichenfolge oder -datei, z. B. Text, Bilder und Dokumente. Unterstützt mehrere Sprachen.

  • AI_EXTRACT ist die aktualisierte Version von EXTRACT_ANSWER (SNOWFLAKE.CORTEX).

• AI_SENTIMENT: Extrahiert die Stimmung aus dem Text.

  • AI_SENTIMENT ist die aktualisierte Version von SENTIMENT (SNOWFLAKE.CORTEX).

• AI_SUMMARIZE_AGG: Aggregiert eine Textspalte und liefert eine Zusammenfassung über mehrere Zeilen. Diese Funktion unterliegt nicht den Beschränkungen des Kontextfensters.

• AI_SIMILARITY: Berechnet die Ähnlichkeit der Einbettung zwischen zwei Eingaben.

• AI_TRANSCRIBE: Transkribiert in einem Stagingbereich gespeicherte Audio- und Videodateien und extrahiert dabei Text, Zeitstempel und Sprecherinformationen.

• AI_PARSE_DOCUMENT: Extracts text (using OCR mode) or text with layout information (using LAYOUT mode) from documents in an internal or external stage. Can also extract images found in a document.

  • AI_PARSE_DOCUMENT ist die aktualisierte Version von PARSE_DOCUMENT (SNOWFLAKE.CORTEX).

• AI_REDACT: Blendet persönlich identifizierbare Informationen (Personally Identifiable Information, PII) im Text aus.

• AI_TRANSLATE: Übersetzt Text zwischen unterstützten Sprachen.

  • AI_TRANSLATE ist die aktualisierte Version von TRANSLATE (SNOWFLAKE.CORTEX).

• SUMMARIZE (SNOWFLAKE.CORTEX): Liefert eine Zusammenfassung des Textes, den Sie angegeben haben.

Hilfreiche Funktionen¶

Hilfsfunktionen sind speziell entwickelte und verwaltete Funktionen, die Fehler bei der Ausführung anderer Cortex AI-Funktionen reduzieren, indem sie z. B. die Anzahl der Token in einer Eingabeaufforderung abfragen, um sicherzustellen, dass der Aufruf eine Modellbeschränkung nicht überschreitet.

• TO_FILE: Erstellt einen Verweis auf eine Datei in einem internen oder externen Stagingbereich zur Verwendung mit AI_COMPLETE und anderen Funktionen, die Dateien akzeptieren.

• AI_COUNT_TOKENS: Gibt bei einer Texteingabe die Anzahl der Token auf der Grundlage des angegebenen Modells oder der angegebenen Cortex-Funktion zurück.

  • AI_COUNT_TOKENS ist die aktualisierte Version von COUNT_TOKENS (SNOWFLAKE.CORTEX).

• PROMPT: Unterstützt Sie beim Erstellen von Eingabeaufforderungsobjekten zur Verwendung mit AI_COMPLETE und anderen Funktionen.

• TRY_COMPLETE (SNOWFLAKE.CORTEX): Funktioniert wie die COMPLETE-Funktion, gibt aber, wenn die Funktion nicht ausgeführt werden konnte, anstatt eines Fehlercodes NULL zurück.

Cortex Guard¶

Cortex Guard ist eine Option der Funktion AI_COMPLETE (oder SNOWFLAKE.CORTEX.COMPLETE), die dazu dient, mögliche unsichere und schädliche Antworten aus einem Sprachmodell herauszufiltern. Cortex Guard wird derzeit mit Llama Guard 3 von Meta erstellt. Cortex Guard wertet die Antworten eines Sprachmodells aus, bevor die Ausgabe an die Anwendung zurückgegeben wird. Sobald Sie Cortex Guard aktivieren, werden Antworten des Sprachmodells, die mit Gewaltverbrechen, Hass, sexuellen Inhalten, Selbstverletzung und mehr in Verbindung gebracht werden können, automatisch gefiltert. Siehe COMPLETE Argumente für Syntax und Beispiele.

CORTEX_USER-Datenbankrollen¶

Die Datenbankrolle CORTEX_USER in der SNOWFLAKE-Datenbank beinhaltet die Berechtigungen, die es dem Benutzenden erlauben, Snowflake Cortex-AI-Funktionen aufzurufen. Die Rolle CORTEX_USER ist standardmäßig der Rolle PUBLIC zugewiesen. Die Rolle PUBLIC wird automatisch allen Benutzern und Rollen zugewiesen, sodass allen Benutzern in Ihrem Konto die Nutzung der Snowflake Cortex-Funktionen-AI ermöglicht wird.

Wenn Sie nicht möchten, dass alle Benutzer diese Berechtigung haben, können Sie den Zugriff auf die PUBLIC-Rolle widerrufen und den Zugriff für andere Rollen gewähren. Die Datenbankrolle SNOWFLAKE-CORTEX_USER kann einem Benutzer nicht direkt zugewiesen werden. Weitere Informationen dazu finden Sie unter Verwenden von SNOWFLAKE-Datenbankrollen.

Um der Rolle PUBLIC die Datenbankrolle CORTEX_USER zu entziehen, führen Sie die folgenden Befehle mit der Rolle ACCOUNTADMIN aus:

REVOKE DATABASE ROLE SNOWFLAKE.CORTEX_USER
  FROM ROLE PUBLIC;

REVOKE IMPORTED PRIVILEGES ON DATABASE SNOWFLAKE
  FROM ROLE PUBLIC;

Sie können dann selektiv bestimmten Rollen Zugriff gewähren. Ein Benutzer mit der Rolle ACCOUNTADMIN kann diese Rolle einer kundenspezifischen Rolle zuweisen, um Benutzern den Zugriff auf die Funktionen von Cortex AI zu ermöglichen. Im folgenden Beispiel verwenden Sie die Rolle ACCOUNTADMIN und weisen dem Benutzer some_user die Datenbankrolle CORTEX_USER über die Kontorolle cortex_user_role zu, die Sie zu diesem Zweck erstellen.

USE ROLE ACCOUNTADMIN;

CREATE ROLE cortex_user_role;
GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE cortex_user_role;

GRANT ROLE cortex_user_role TO USER some_user;

Sie können den Zugriff auf die Snowflake Cortex-AI-Funktionen auch über bestehende Rollen gewähren, die häufig von bestimmten Benutzergruppen verwendet werden. (siehe Benutzerrollen). Wenn Sie beispielsweise eine analyst-Rolle erstellt haben, die von Analysten in Ihrer Organisation als Standardrolle verwendet wird, können Sie diesen Benutzenden mit einer einzigen GRANT-Anweisung schnell Zugriff auf die Snowflake Cortex-AI-Funktionen gewähren.

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE analyst;

CORTEX_EMBED_USER-Datenbankrollen¶

Die Datenbankrolle CORTEX_EMBED_USER in der SNOWFLAKE-Datenbank enthält die Berechtigungen, die es Benutzern erlauben, die Funktionen zur Texteinbettung AI_EMBED, EMBED_TEXT_768 und EMBED_TEXT_1024 aufzurufen und Cortex Search Services mit verwalteten Vektoreinbettungen zu erstellen. CORTEX_EMBED_USER ermöglicht es Ihnen, Einbettungsberechtigungen getrennt von anderen Cortex AI-Funktionen zu vergeben.

Im Gegensatz zur Rolle CORTEX_USER wird die Rolle CORTEX_EMBED_USER standardmäßig nicht der Rolle PUBLIC zugewiesen. Sie müssen diese Rolle ausdrücklich Rollen zuweisen, die Einbettungsmöglichkeiten benötigen, wenn Sie die Rolle CORTEx_USER widerrufen haben. Die Datenbankrolle CORTEX_EMBED_USER kann Benutzern nicht direkt zugewiesen werden, sondern muss Rollen zugewiesen werden, die Benutzer übernehmen können. Das folgende Beispiel veranschaulicht diesen Vorgang.

USE ROLE ACCOUNTADMIN;

CREATE ROLE cortex_embed_user_role;
GRANT DATABASE ROLE SNOWFLAKE.CORTEX_EMBED_USER TO ROLE cortex_embed_user_role;

GRANT ROLE cortex_embed_user_role TO USER some_user;

Um allen Benutzern Zugriff auf die Einbettungsfunktionen zu geben, können Sie alternativ wie folgt die Rolle CORTEX_EMBED_USER für die Rolle PUBLIC zuweisen.

USE ROLE ACCOUNTADMIN;

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_EMBED_USER TO ROLE PUBLIC;

Verwenden von AI-Funktionen in gespeicherten Prozeduren mit EXECUTE AS RESTRICTED CALLER¶

Um AI-Funktionen innerhalb von gespeicherten Prozeduren mit EXECUTE AS RESTRICTED CALLER zu verwenden, erteilen Sie der Rolle, die die gespeicherte Prozedur erstellt hat, die folgenden Berechtigungen:

GRANT INHERITED CALLER USAGE ON ALL SCHEMAS IN DATABASE snowflake TO ROLE <role_that_created_the_stored_procedure>;
GRANT INHERITED CALLER USAGE ON ALL FUNCTIONS IN DATABASE snowflake TO ROLE <role_that_created_the_stored_procedure>;
GRANT CALLER USAGE ON DATABASE snowflake TO ROLE <role_that_created_the_stored_procedure>;

Parameter für die Zulassungsliste auf Kontoebene¶

Sie können den Modellzugriff für Ihr gesamtes Konto steuern, indem Sie den Parameter CORTEX_MODELS_ALLOWLIST verwenden. Unterstützte Features respektieren den Wert dieses Parameters und verhindern die Verwendung von Modellen, die nicht in der Zulassungsliste enthalten sind.

Der Parameter CORTEX_MODELS_ALLOWLIST kann auf 'All', 'None' oder eine durch Kommas getrennte Liste von Modellnamen festgelegt werden. Dieser Parameter kann nur auf Kontoebene eingestellt werden, nicht auf Benutzer- oder der Sitzungsebene. Nur die Rolle ACCOUNTADMIN kann den Parameter mit dem Befehl ALTER ACCOUNT festlegen.

Beispiele:

• So ermöglichen Sie den Zugriff auf alle Modelle:

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'All';
  

  Copy

• So ermöglichen Sie den Zugriff auf die Modelle mistral-large2 und llama3.1-70b:

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'mistral-large2,llama3.1-70b';
  

  Copy

• So verhindern Sie den Zugriff auf Modelle:

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'None';
  

  Copy

Verwenden Sie RBAC wie im folgenden Abschnitt beschrieben, um bestimmten Rollen Zugriff zu gewähren, der über das hinausgeht, was Sie in der Zulassungsliste angegeben haben.

Rollenbasierte Zugriffssteuerung (RBAC)¶

Obwohl Cortex-Modelle selbst keine Snowflake-Objekte sind, können Sie mit Snowflake Modellobjekte im Schema SNOWFLAKE.MODELS erstellen, das die Cortex-Modelle darstellt. Indem Sie RBAC auf diese Objekte anwenden, können Sie den Modellzugriff auf die gleiche Weise steuern wie bei jedem anderen Snowflake-Objekt. Unterstützte Features akzeptieren die Bezeichner von Objekten in SNOWFLAKE.MODELS überall dort, wo ein Modell angegeben werden kann.

CALL SNOWFLAKE.MODELS.CORTEX_BASE_MODELS_REFRESH();

SHOW MODELS IN SNOWFLAKE.MODELS;

SHOW APPLICATION ROLES IN APPLICATION SNOWFLAKE;

-- set up access
USE SECONDARY ROLES NONE;
USE ROLE ACCOUNTADMIN;
ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'MISTRAL-LARGE2';
CALL SNOWFLAKE.MODELS.CORTEX_BASE_MODELS_REFRESH();
GRANT APPLICATION ROLE SNOWFLAKE."CORTEX-MODEL-ROLE-LLAMA3.1-70B" TO ROLE PUBLIC;

-- test access
USE ROLE PUBLIC;

-- this succeeds because mistral-large2 is in the allowlist
SELECT AI_COMPLETE('MISTRAL-LARGE2', 'Hello');

-- this succeeds because the role has access to the model object
SELECT AI_COMPLETE('SNOWFLAKE.MODELS."LLAMA3.1-70B"', 'Hello');

-- this fails because the first argument is
-- neither an identifier for an accessible model object
-- nor is it a model name in the allowlist
SELECT AI_COMPLETE('SNOWFLAKE-ARCTIC', 'Hello');

Häufige Probleme¶

• Zugriff auf ein Modell (über Zulassungsliste oder RBAC) bedeutet nicht immer, dass es auch verwendet werden kann. Es kann immer noch regionenübergreifenden, abkündigungsbezogenen oder anderen Verfügbarkeitsbeschränkungen unterliegen. Diese Beschränkungen können zu Fehlermeldungen führen, die ähnlich wie Modellzugriffsfehler aussehen.

• Die Modellzugriffssteuerung regelt nur die Verwendung eines Modells und nicht die Nutzung eines Features selbst, das über eigene Zugriffssteuerungen verfügen kann. Zum Beispiel wird der Zugriff auf AI_COMPLETE durch die Datenbankrolle CORTEX_USER geregelt. Weitere Informationen dazu finden Sie unter Cortex LLM-Berechtigungen.

• Nicht alle Features unterstützen Modellzugriffssteuerungen. Der Tabelle Unterstützte Features können Sie entnehmen, welche Zugriffssteuerungsmethoden ein bestimmtes Feature unterstützt.

• Sekundärrollen können Berechtigungen verschleiern. Wenn ein Benutzer z. B. ACCOUNTADMIN als Sekundärrolle hat, können alle Modellobjekte zugänglich erscheinen. Deaktivieren Sie Sekundärrollen vorübergehend, wenn Sie Berechtigungen überprüfen.

• Qualifizierte Bezeichner für Modellobjekte werden in Anführungszeichen gesetzt, daher muss die Groß-/Kleinschreibung beachtet werden. Weitere Informationen dazu finden Sie unter QUOTED_IDENTIFIERS_IGNORE_CASE.

Unterstützte Features¶

Die Modellzugriffssteuerung wird von folgenden Features unterstützt:

Best Practices zum Speichern von Cortex AI-Funktionen¶

Möglicherweise sind die folgenden Best Practices hilfreich, wenn Sie mit Mediendateien in Stagingbereichen mit Cortex AI-Funktionen arbeiten:

• Erstellen Sie ein Schema für die Organisation der Mediendateien in Stagingbereichen. Erstellen Sie z. B. für jedes Team oder Projekt einen separaten Stagingbereich, und speichern Sie die verschiedenen Arten von Mediendateien in Unterverzeichnissen.

• Aktivieren Sie Verzeichnislisten für Stagingbereiche, um Abfragen und programmgesteuerten Zugriff auf deren Dateien zu ermöglichen.

  Tipp

  Um die Verzeichnistabelle für den externen Stagingbereich automatisch zu aktualisieren, wenn neue oder aktualisierte Dateien verfügbar sind, Legen Sie AUTO_REFRESH beim Erstellen des Stagingbereichs auf TRUE fest.

• Verwenden Sie für externe Stagingbereiche fein abgestufte Richtlinien auf Cloudanbieterseite (z. B. AWS IAM-Richtlinien), um den Zugriff der Speicherintegration auf das Nötigste zu beschränken.

• Verwenden Sie stets Verschlüsselung, wie z. B. AWS_SSE oder SNOWFLAKE_SSE, um Ihre Daten im Ruhezustand zu schützen.

Warehouse-Dimensionierung¶

Snowflake empfiehlt, eine Warehouse-Größe von maximal MEDIUM beim Aufrufen von Snowflake Cortex AI-Funktionen zu verwenden. Die Verwendung eines größeren Warehouse als nötig erhöht nicht die Leistung, sondern kann zu unnötigen Kosten führen. Diese Empfehlung kann sich in Zukunft ändern, da wir die Cortex AI-Funktionen stetig weiterentwickeln.

Kosten für KI-Dienste verfolgen¶

Um die Credits zu verfolgen, die Sie für die KI-Dienste einschließlich LLM-Funktionen in Ihrem Konto verwendet haben, verwenden Sie die Ansicht METERING_HISTORY:

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.METERING_DAILY_HISTORY
  WHERE SERVICE_TYPE='AI_SERVICES';

Verfolgen des Credit-Verbrauchs für Cortex AI-Funktionen¶

Um den Credit- und Token-Verbrauch für jeden AI-Funktionsaufruf zu sehen, verwenden Sie den Ansicht CORTEX_FUNCTIONS_USAGE_HISTORY:

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_USAGE_HISTORY;

Sie können auch den Credit- und Token-Verbrauch für jede Abfrage in Ihrem Snowflake Konto einsehen. Die Anzeige des Credit- und Token-Verbrauchs für jede Abfrage hilft Ihnen, die Abfragen zu identifizieren, die die meisten Credits und Token verbrauchen.

Die folgende Beispielabfrage verwendet Ansicht CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY, um den Credit- und Token-Verbrauch für alle Ihre Abfragen innerhalb Ihres Kontos anzuzeigen.

SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY;

Sie können die gleiche Ansicht auch verwenden, um den Credit- und Token-Verbrauch für eine bestimmte Abfrage anzuzeigen.

SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY
WHERE query_id='<query-id>';

Der Verlauf der Abfrage wird nach den in der Abfrage verwendeten Modellen gruppiert. Wenn Sie zum Beispiel Folgendes ausgeführt haben:

SELECT AI_COMPLETE('mistral-7b', 'Is a hot dog a sandwich'), AI_COMPLETE('mistral-large', 'Is a hot dog a sandwich');

Der Abfrage-Nutzungsverlauf würde zwei Zeilen anzeigen, eine für mistral-7b und eine für mistral-large.

Große Modelle¶

Wenn Sie nicht sicher sind, wo Sie anfangen sollen, probieren Sie zunächst die leistungsfähigsten Modelle aus, um eine Grundlage für die Bewertung anderer Modelle zu schaffen. claude-3-7-sonnet, und mistral-large2 sind die leistungsfähigsten Modelle, die Snowflake Cortex anbietet, und die Ihnen einen guten Eindruck davon vermitteln, was ein modernes Modell leisten kann.

• Claude 3-7 Sonnet ist führend im Bereich des allgemeinen logischen Denkens und der multimodalen Fähigkeiten. Es übertrifft seine Vorgänger bei Aufgaben, die Schlussfolgerungen über verschiedene Domänen und Modalitäten hinweg erfordern. Sie können seine große Ausgabekapazität nutzen, um mehr Informationen aus strukturierten oder unstrukturierten Abfragen zu erhalten. Mit seinen Argumentationsfähigkeiten und großen Kontextfenstern eignet es sich hervorragend für agentenbasierte Arbeitsabläufe.

• deepseek-r1 ist ein Basismodell, das mit Large-Scale Reinforcement-Learning (RL) ohne überwachte Feinabstimmung (SFT) trainiert wurde. Es kann hohe Leistungen bei Mathematik-, Code- und Denkaufgaben erbringen. Um auf das Modell zuzugreifen, setzen Sie den regionsübergreifenden Inferenzparameter auf AWS_US.

• mistral-large2 ist das fortschrittlichste große Sprachmodell von Mistral AImit erstklassigen Argumentationsfähigkeiten. Im Vergleich zu mistral-large ist es wesentlich leistungsfähiger in den Bereichen Codegenerierung, Mathematik und Argumentation und bietet eine viel stärkere Unterstützung für mehrere Sprachen.. Es eignet sich ideal für komplexe Aufgaben, die umfangreiche Argumentationsfähigkeiten erfordern oder hochspezialisiert sind, wie z. B. die Generierung synthetischer Texte, Codegenerierung und mehrsprachige Textanalyse.

• llama3.1-405b ist ein Open Source-Modell aus der llama3.1-Modellfamilie von Meta mit einem großen 128K-Kontextfenster. Es zeichnet sich durch die Verarbeitung langer Dokumente, mehrsprachige Unterstützung, die Generierung synthetischer Daten und die Modelldestillation aus.

• snowflake-llama3.1-405b ist ein Modell, das vom Open-Source-Modell lama3.1 abgeleitet ist. Es verwendet die SwiftKV-Optimierungen, die vom Snowflake-AI-Forschungsteam entwickelt wurden, um die Inferenzkosten um bis zu 75 % zu senken. SwiftKV erreicht einen höheren Durchsatz bei minimalem Genauigkeitsverlust.

Mittlere Modelle¶

• llama3.1-70b ist ein Open-Source-Modell, das modernste Leistung bietet und ideal für Chat-Anwendungen, Content-Erstellung und Unternehmensanwendungen ist. Es ist ein hochleistungsfähiges, kosteneffizientes Modell, das mit einem Kontextfenster von 128 K verschiedene Anwendungsfälle ermöglicht. llama3-70b wird weiterhin unterstützt und hat ein Kontextfenster von 8 K.

• snowflake-llama3.3-70b ist ein Modell, das vom Open-Source-Modell lama3.3 abgeleitet ist. Es verwendet die SwiftKV-Optimierungen, die vom Snowflake-AI-Forschungsteam entwickelt wurden, um die Inferenzkosten um bis zu 75 % zu senken. SwiftKV erreicht einen höheren Durchsatz bei minimalem Genauigkeitsverlust.

• snowflake-arctic ist das auf Unternehmen ausgerichtete Top-LLM von Snowflake. Arctic eignet sich hervorragend für Unternehmensaufgaben wie SQL-Generierung, Codierung und die Anweisungsbefolgung nach Benchmarks.

• mixtral-8x7b ist ideal für Textgenerierung, Klassifizierung und die Beantwortung von Fragen. Die Mistral-Modelle sind für niedrige Latenzen und geringen Arbeitsspeicherbedarf optimiert, was sich in einem höheren Durchsatz für Anwendungsfälle in großen Unternehmen niederschlägt.

Kleine Modelle¶

• llama3.1-8b ist ideal für Aufgaben, die geringes bis mittleres logisches Denken erfordern. Es ist ein leichtes, ultraschnelles Modell mit einem Kontextfenster von 128K. llama3-8b bietet ein kleineres Kontextfenster und eine relativ geringere Präzision.

• mistral-7b ist ideal für Ihre einfachsten Zusammenfassungs-, Strukturierungs- und Fragebeantwortungsaufgaben geeignet, die schnell erledigt werden müssen. Mit seinem 32K-Kontextfenster bietet es niedrige Latenzen und einen hohen Durchsatz bei der Verarbeitung mehrerer Textseiten.

Die folgende Tabelle bietet Informationen dazu, wie gängige Modelle bei verschiedenen Benchmarks abschneiden, einschließlich die von Snowflake Cortex-AI_COMPLETE angebotenen Modelle sowie einige andere beliebte Modelle.

Cortex AI-Funktionen in Snowpark Python aufrufen¶

Sie können die Snowflake Cortex AI-Funktionen in der Snowpark Python-API verwenden. Zu diesen Funktionen gehören die folgenden. Beachten Sie, dass die Funktionen in Snowpark Python Namen im Python-Format „snake_case“ aufweisen, das heißt, Wörter sind durch Unterstriche getrennt und alle Buchstaben werden in Kleinbuchstaben geschrieben.

• ai_agg

• ai_classify

• ai_complete

• ai_filter

• ai_similarity

• ai_summarize_agg

from snowflake.snowpark.functions import ai_agg, col

df = session.create_dataframe([
    [1, "Excellent product!"],
    [1, "Great battery life."],
    [1, "A bit expensive but worth it."],
    [2, "Terrible customer service."],
    [2, "Won’t buy again."],
], schema=["product_id", "review"])

# Summarize reviews per product
summary_df = df.group_by("product_id").agg(
    ai_agg(col("review"), "Summarize the customer reviews in one sentence.")
)
summary_df.show()

from snowflake.snowpark.functions import ai_classify, col

df = session.create_dataframe([
    ["I dream of backpacking across South America."],
    ["I made the best pasta yesterday."],
], schema=["sentence"])

df = df.select(
    "sentence",
    ai_classify(col("sentence"), ["travel", "cooking"]).alias("classification")
)
df.show()

from snowflake.snowpark.functions import ai_filter, prompt, col

df = session.create_dataframe(["Canada", "Germany", "Japan"], schema=["country"])

filtered_df = df.select(
    "country",
    ai_filter(prompt("Is {0} in Asia?", col("country"))).alias("is_in_asia")
)
filtered_df.show()

Cortex AI-Funktionen in Snowflake ML aufrufen¶

Snowflake ML enthält die älteren AI-Funktionen, deren Namen nicht mit „AI“ beginnen. Diese Funktionen werden ab Version 1.1.2 von Snowflake ML unterstützt. Die Namen werden im Python-Format „snake_case“ gerendert, das heißt, Wörter sind durch Unterstriche getrennt und alle Buchstaben werden in Kleinbuchstaben geschrieben.

Wenn Sie Ihr Python-Skript außerhalb von Snowflake ausführen, müssen Sie eine Snowpark-Sitzung erstellen, um diese Funktionen nutzen zu können. Eine Anleitung dazu finden Sie unter Verbinden mit Snowflake.

from snowflake.cortex import complete, extract_answer, sentiment, summarize, translate

text = """
    The Snowflake company was co-founded by Thierry Cruanes, Marcin Zukowski,
    and Benoit Dageville in 2012 and is headquartered in Bozeman, Montana.
"""

print(complete("llama3.1-8b", "how do snowflakes get their unique patterns?"))
print(extract_answer(text, "When was snowflake founded?"))
print(sentiment("I really enjoyed this restaurant. Fantastic service!"))
print(summarize(text))
print(translate(text, "en", "fr"))

from snowflake.cortex import complete, CompleteOptions

model_options1 = CompleteOptions(
    {'max_tokens':30}
)

print(complete("llama3.1-8b", "how do snowflakes get their unique patterns?", options=model_options1))

from snowflake.cortex import summarize
from snowflake.snowpark.functions import col

article_df = session.table("articles")
article_df = article_df.withColumn(
    "abstract_summary",
    summarize(col("abstract_text"))
)
article_df.collect()