Snowflake Cortex AISQL (einschließlich LLM-Funktionen)¶

AISQL-Funktionen¶

Aufgabenspezifische Funktionen sind speziell entwickelte und verwaltete Funktionen, die Routineaufgaben automatisieren, wie z. B. einfache Zusammenfassungen und schnelle Übersetzungen, die keine Anpassung erfordern.

• AI_COMPLETE: Erzeugt eine Vervollständigung für eine gegebene Textzeichenfolge oder ein Bild unter Verwendung eines ausgewählten LLM. Verwenden Sie diese Funktion für die meisten generativen AI-Aufgaben.

  • Dies ist die aktualisierte Version von COMPLETE (SNOWFLAKE.CORTEX).

• AI_CLASSIFY: Klassifiziert Text oder Bilder in benutzerdefinierte Kategorien.

  • Dies ist die aktualisierte Version von CLASSIFY_TEXT (SNOWFLAKE.CORTEX) mit Unterstützung für Multi-Label- und Bildklassifizierung.

• AI_FILTER: Gibt True oder False für eine gegebene Text- oder Bildeingabe zurück, so dass Sie die Ergebnisse in den Klauseln SELECT, WHERE oder JOIN ... ON filtern können.

• AI_AGG: Aggregiert eine Textspalte und liefert auf der Grundlage einer benutzerdefinierten Aufforderung Erkenntnisse über mehrere Zeilen. Diese Funktion unterliegt nicht den Beschränkungen des Kontextfensters.

• AI_SUMMARIZE_AGG: Aggregiert eine Textspalte und liefert eine Zusammenfassung über mehrere Zeilen. Diese Funktion unterliegt nicht den Beschränkungen des Kontextfensters.

• AI_SIMILARITY: Berechnet die Ähnlichkeit der Einbettung zwischen zwei Eingaben.

• PARSE_DOCUMENT (SNOWFLAKE.CORTEX): Extrahiert Text (im Modus OCR) oder Text mit Layoutinformationen (im Modus LAYOUT) aus Dokumenten in einem internen oder externen Stagingbereich.

• TRANSLATE: Übersetzt Text zwischen unterstützten Sprachen.

• SENTIMENT (SNOWFLAKE.CORTEX): Extrahiert Stimmungswerte aus Text.

• EXTRACT_ANSWER (SNOWFLAKE.CORTEX): Extrahiert die Antwort auf eine Frage aus unstrukturierten Daten, vorausgesetzt, die entsprechenden Daten sind vorhanden.

• SUMMARIZE (SNOWFLAKE.CORTEX): Liefert eine Zusammenfassung des Textes, den Sie angegeben haben.

Hilfreiche Funktionen¶

Hilfsunktionen: Speziell entwickelte und verwaltete Funktionen, die Fehler bei der Ausführung anderer AISQL-Funktionen reduzieren, indem sie z. B. die Anzahl der Token in einer Eingabeaufforderung abfragen, um sicherzustellen, dass der Aufruf eine Modellbeschränkung nicht überschreitet.

• COUNT_TOKENS (SNOWFLAKE.CORTEX): Gibt bei einer Eingabe die Anzahl der Token auf der Grundlage des angegebenen Modells oder der angegebenen Cortex-Funktion zurück.

• TRY_COMPLETE (SNOWFLAKE.CORTEX): Funktioniert wie die COMPLETE-Funktion, gibt aber, wenn die Funktion nicht ausgeführt werden konnte, anstatt eines Fehlercodes NULL zurück.

Cortex Guard¶

Cortex Guard ist eine Option der Funktion COMPLETE, die dazu dient, mögliche unsichere und schädliche Antworten aus einem Sprachmodell herauszufiltern. Cortex Guard wird derzeit mit Llama Guard 3 von Meta erstellt. Cortex Guard wertet die Antworten eines Sprachmodells aus, bevor die Ausgabe an die Anwendung zurückgegeben wird. Sobald Sie Cortex Guard aktivieren, werden Antworten des Sprachmodells, die mit Gewaltverbrechen, Hass, sexuellen Inhalten, Selbstverletzung und mehr in Verbindung gebracht werden können, automatisch gefiltert. Siehe COMPLETE Argumente für Syntax und Beispiele.

Modell-Zulassungsliste¶

Verwenden Sie den Parameter CORTEX_MODELS_ALLOWLIST im Befehl ALTER ACCOUNT SET, um den Modellzugriff für alle Benutzer des Kontos festzulegen. Wenn Sie bestimmten Benutzern einen Zugriff gewähren müssen, der über das hinausgeht, was Sie in der Zulassungsliste angegeben haben, sollten Sie stattdessen eine rollenbasierte Zugriffssteuerung verwenden. Weitere Informationen zur rollenbasierten Zugriffssteuerung finden Sie unter Rollenbasierte Zugriffssteuerung.

Wenn Ihre Benutzer eine Anfrage stellen, wertet Snowflake Cortex den Parameter aus, um festzustellen, ob der Benutzer auf das Modell zugreifen kann.

Für den Parameter CORTEX_MODELS_ALLOWLIST können Sie die folgenden Werte einstellen:

• CORTEX_MODELS_ALLOWLIST = 'All' Bietet Zugang zu allen Modellen.

  Der folgende Befehl bietet dem Benutzer Zugriff auf alle Modelle:

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'All';
  

  Copy

• CORTEX_MODELS_ALLOWLIST = 'model1,model2,...'

  Ermöglicht Benutzern den Zugriff auf die in einer kommagetrennten Liste angegebenen Modelle.

  Mit dem folgenden Befehl erhalten Benutzer Zugriff auf die Modelle mistral-large2 und llama3.1-70b:

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'mistral-large2,llama3.1-70b';
  

  Copy

• CORTEX_MODELS_ALLOWLIST = 'None' Verhindert, dass Benutzer auf ein Modell zugreifen können.

  Der folgende Befehl verhindert den Zugriff eines Benutzers auf ein Modell:

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'None';
  

  Copy

Rollenbasierte Zugriffssteuerung¶

Jedes Modell in Snowflake Cortex ist ein eindeutiges Objekt im Schema SNOWFLAKE.MODELS mit einer zugehörigen Anwendungsrolle. Sie können die Modellobjekte und Anwendungsrollen verwenden, um den Zugriff auf das Modellobjekt zu verwalten.

Verwenden Sie den folgenden Befehl, um Zugriff auf die neuesten Modelle zu erhalten:

CALL SNOWFLAKE.MODELS.CORTEX_BASE_MODELS_REFRESH();

Als nächstes verwenden Sie den folgenden Befehl, um die Modelle aufzulisten, die in Ihrem Snowflake-Konto verfügbar sind:

SHOW MODELS IN SNOWFLAKE.MODELS;

Der Befehl gibt eine Liste von Modellen zurück, wie zum Beispiel die folgende:

Verwenden Sie den folgenden Befehl, um die Anwendungsrollen für diese Modelle aufzulisten:

SHOW APPLICATION ROLES IN APPLICATION SNOWFLAKE;

Der Befehl gibt eine Liste von Anwendungsrollen zurück, wie z. B. die folgende:

Um den Zugriff auf ein bestimmtes Modell zu gewähren, weisen Sie die Anwendungsrolle des Modells einer Benutzerrolle zu. Sie können zum Beispiel CORTEX-MODEL-ROLE-LLAMA3. 1-70B, die Anwendungsrolle für SNOWFLAKE.MODELS. "LLAMA3. 1-70B", einer Benutzerrolle zuweisen. Mit dem folgenden Befehl wird die Anwendungsrolle CORTEX-MODEL-ROLE-LLAMA3. 1-70B der Benutzerrolle MY_ROLE zugewiesen:

GRANT APPLICATION ROLE SNOWFLAKE."CORTEX-MODEL-ROLE-LLAMA3.1-70B" TO ROLE MY_ROLE;

Um einen Inferenzaufruf zu machen, verwenden Sie den vollständig qualifizierten Modellnamen. Im Folgenden sehen Sie ein Beispiel für einen Aufruf, den Benutzer machen können:

SELECT AI_COMPLETE('SNOWFLAKE.MODELS."LLAMA3.1-70B"', 'Hello');

Kosten für KI-Dienste verfolgen¶

Um die Credits zu verfolgen, die Sie für die KI-Dienste einschließlich LLM-Funktionen in Ihrem Konto verwendet haben, verwenden Sie die Ansicht METERING_HISTORY:

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.METERING_DAILY_HISTORY
  WHERE SERVICE_TYPE='AI_SERVICES';

Verfolgen Sie den Credit-Verbrauch für AISQL-Funktionen¶

Um den Credit- und Token-Verbrauch für jeden AISQL-Funktionsaufruf zu sehen, verwenden Sie die Ansicht CORTEX_FUNCTIONS_USAGE_HISTORY:

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_USAGE_HISTORY;

Sie können auch den Credit- und Token-Verbrauch für jede Abfrage in Ihrem Snowflake Konto einsehen. Die Anzeige des Credit- und Token-Verbrauchs für jede Abfrage hilft Ihnen, die Abfragen zu identifizieren, die die meisten Credits und Token verbrauchen.

Die folgende Beispielabfrage verwendet Ansicht CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY, um den Credit- und Token-Verbrauch für alle Ihre Abfragen innerhalb Ihres Kontos anzuzeigen.

SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY;

Sie können die gleiche Ansicht auch verwenden, um den Credit- und Token-Verbrauch für eine bestimmte Abfrage anzuzeigen.

SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY
WHERE query_id='<query-id>';

Der Verlauf der Abfrage wird nach den in der Abfrage verwendeten Modellen gruppiert. Wenn Sie zum Beispiel Folgendes ausgeführt haben:

SELECT AI_COMPLETE('mistral-7b', 'Is a hot dog a sandwich'), AI_COMPLETE('mistral-large', 'Is a hot dog a sandwich');

Der Abfrage-Nutzungsverlauf würde zwei Zeilen anzeigen, eine für mistral-7b und eine für mistral-large.

Große Modelle¶

Wenn Sie nicht sicher sind, wo Sie anfangen sollen, probieren Sie zunächst die leistungsfähigsten Modelle aus, um eine Grundlage für die Bewertung anderer Modelle zu schaffen. claude-3-7-sonnet reka-core und mistral-large2 sind die leistungsfähigsten Modelle, die Snowflake Cortex anbietet und die Ihnen einen guten Eindruck davon vermitteln, was ein modernes Modell leisten kann.

• Claude 3-7 Sonnet ist führend im Bereich des allgemeinen logischen Denkens und der multimodalen Fähigkeiten. Es übertrifft seine Vorgänger bei Aufgaben, die Schlussfolgerungen über verschiedene Domänen und Modalitäten hinweg erfordern. Sie können seine große Ausgabekapazität nutzen, um mehr Informationen aus strukturierten oder unstrukturierten Abfragen zu erhalten. Mit seinen Argumentationsfähigkeiten und großen Kontextfenstern eignet es sich hervorragend für agentenbasierte Arbeitsabläufe.

• deepseek-r1 ist ein Basismodell, das mit Large-Scale Reinforcement-Learning (RL) ohne überwachte Feinabstimmung (SFT) trainiert wurde. Es kann hohe Leistungen bei Mathematik-, Code- und Denkaufgaben erbringen. Um auf das Modell zuzugreifen, setzen Sie den regionsübergreifenden Inferenzparameter auf AWS_US.

• mistral-large2 ist das fortschrittlichste große Sprachmodell von Mistral AImit erstklassigen Argumentationsfähigkeiten. Im Vergleich zu mistral-large ist es wesentlich leistungsfähiger in den Bereichen Codegenerierung, Mathematik und Argumentation und bietet eine viel stärkere Unterstützung für mehrere Sprachen.. Es eignet sich ideal für komplexe Aufgaben, die umfangreiche Argumentationsfähigkeiten erfordern oder hochspezialisiert sind, wie z. B. die Generierung synthetischer Texte, Codegenerierung und mehrsprachige Textanalyse.

• llama3.1-405b ist ein Open Source-Modell aus der llama3.1-Modellfamilie von Meta mit einem großen 128K-Kontextfenster. Es zeichnet sich durch die Verarbeitung langer Dokumente, mehrsprachige Unterstützung, die Generierung synthetischer Daten und die Modelldestillation aus.

• snowflake-llama3.1-405b ist ein Modell, das von dem Open-Source-Modell llama3.1 abgeleitet ist. Es nutzt das <SwiftKV optimizations https://www.snowflake.com/en/blog/up-to-75-lower-inference-cost-llama-meta-llm/>, das vom Snowflake AI-Forschungsteam entwickelt wurde, um die Kosten für Inferenzen um bis zu 75 % zu senken. SwiftKV erreicht eine höhere Durchsatzleistung bei minimalem Genauigkeitsverlust.

Mittlere Modelle¶

• llama3.1-70b ist ein Open-Source-Modell, das modernste Leistung bietet und ideal für Chat-Anwendungen, Content-Erstellung und Unternehmensanwendungen ist. Es ist ein hochleistungsfähiges, kosteneffizientes Modell, das mit einem Kontextfenster von 128 K verschiedene Anwendungsfälle ermöglicht. llama3-70b wird weiterhin unterstützt und hat ein Kontextfenster von 8 K.

• snowflake-llama3.3-70b ist ein Modell, das von dem Open-Source-Modell llama3.3 abgeleitet ist. Es nutzt die vom Snowflake AI-Forschungsteam entwickelte <SwiftKV optimizations https://www.snowflake.com/en/blog/up-to-75-lower-inference-cost-llama-meta-llm/>, um die Kosten für Inferenzen um bis zu 75 % zu senken. SwiftKV erreicht eine höhere Durchsatzleistung bei minimalem Genauigkeitsverlust.

• snowflake-arctic ist das auf Unternehmen ausgerichtete Top-LLM von Snowflake. Arctic eignet sich hervorragend für Unternehmensaufgaben wie SQL-Generierung, Codierung und die Anweisungsbefolgung nach Benchmarks.

• mixtral-8x7b ist ideal für Textgenerierung, Klassifizierung und die Beantwortung von Fragen. Die Mistral-Modelle sind für niedrige Latenzen und geringen Arbeitsspeicherbedarf optimiert, was sich in einem höheren Durchsatz für Anwendungsfälle in großen Unternehmen niederschlägt.

• Das jamba-Instruct-Modell wurde von AI21 Labs entwickelt, um die Anforderungen von Unternehmen effizient zu erfüllen. Es ist so optimiert, dass es ein 256k Token-Kontextfenster mit geringen Kosten und Latenzzeiten bietet, was es ideal für Aufgaben wie Zusammenfassung, Q&A und Entitätsextraktion bei langen Dokumenten und umfangreichen Wissensdatenbanken macht.

• Die AI21 Jamba 1.5-Modellfamilie ist eine hochmoderne, hybride SSM-Transformator-Anweisung, die Grundmodellen folgt. jamba-1.5-mini und jamba-1.5-large mit einer Kontextlänge von 256K unterstützen Anwendungsfälle wie die strukturierte Ausgabe (JSON) und die grundlegende Generierung.

Kleine Modelle¶

• Die Modelle llama3.2-1b und llama3.2-3b unterstützen Kontextlängen von 128-K-Token und sind in ihrer Klasse für Anwendungsfälle wie die Zusammenfassung, das Verfolgen von Anweisungen und das Umschreiben von Aufgaben führend. Llama 3.2-Modelle sind mehrsprachig und unterstützen Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thailändisch.

• llama3.1-8b ist ideal für Aufgaben, die geringes bis mittleres logisches Denken erfordern. Es ist ein einfaches, ultraschnelles Modell mit einem Kontextfenster von 128 K. llama3-8b und llama2-70b-chat sind weiterhin unterstützte Modelle, die ein kleineres Kontextfenster und eine relativ geringere Präzision bieten.

• mistral-7b ist ideal für Ihre einfachsten Zusammenfassungs-, Strukturierungs- und Fragebeantwortungsaufgaben geeignet, die schnell erledigt werden müssen. Mit seinem 32K-Kontextfenster bietet es niedrige Latenzen und einen hohen Durchsatz bei der Verarbeitung mehrerer Textseiten.

• gemma-7b ist für einfache Code- und Textvervollständigungsaufgaben geeignet. Es hat ein Kontextfenster von 8.000 Token, ist aber innerhalb dieses Limits erstaunlich leistungsfähig und recht kostengünstig.

Die folgende Tabelle bietet Informationen dazu, wie gängige Modelle bei verschiedenen Benchmarks abschneiden, einschließlich die von Snowflake Cortex-COMPLETE angebotenen Modelle sowie einige andere beliebte Modelle.