Large Language Model (LLM)-Funktionen (Snowflake Cortex)¶

Erforderliche Berechtigungen¶

The CORTEX_USER database role in the SNOWFLAKE database includes the privileges that allow users to call Snowflake Cortex LLM functions. By default, this database role is granted to only the ACCOUNTADMIN role. ACCOUNTADMIN must propagate this role to user roles in order to allow users to access Cortex LLM Functions.

The SNOWFLAKE.CORTEX_USER database role cannot be granted directly to a user. A user with the ACCOUNTADMIN role must first grant it to an account role, and then grant the account role to users. For more information, see Verwenden von SNOWFLAKE-Datenbankrollen.

In the following example, you assume ACCOUNTADMIN and grant the user some_user the CORTEX_USER database role via the account role cortex_user_role, which you create for this purpose.

USE ROLE ACCOUNTADMIN;

CREATE ROLE cortex_user_role;
GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE cortex_user_role;

GRANT ROLE cortex_user_role TO USER some_user;

Sie können den Zugriff auf die Snowflake Cortex-LLM-Funktionen auch über bestehende Rollen gewähren, die häufig von bestimmten Benutzergruppen verwendet werden. (siehe Benutzerrollen). Wenn Sie beispielsweise eine analyst-Rolle erstellt haben, die von Analysten in Ihrer Organisation als Standardrolle verwendet wird, können Sie diesen Benutzern mit einer einzigen GRANT-Anweisung schnell Zugriff auf die Snowflake Cortex-LLM-Funktionen gewähren.

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE analyst;

The PUBLIC pseudo-role is automatically granted to all users and roles, so granting cortex_user_role to PUBLIC allows all users in your account to use the Snowflake Cortex LLM functions.

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE PUBLIC;

Verfügbarkeit¶

Snowflake Cortex-LLM-Funktionen sind derzeit in den folgenden Regionen verfügbar.

Hinweise zu Kosten¶

Snowflake Cortex LLM functions incur compute cost based on the number of tokens processed. The table below shows the cost in credits per 1 million tokens for each function.

• Bei Funktionen, die neuen Text in der Antwort generieren (COMPLETE, SUMMARIZE und TRANSLATE), werden sowohl Eingabe- als auch Ausgabe-Token gezählt.

• Bei Funktionen, die nur Informationen aus der Eingabe extrahieren (EXTRACT_ANSWER und SENTIMENT), werden nur die Eingabe-Token gezählt.

• Bei EXTRACT_ANSWER ergibt sich die Anzahl der abrechenbaren Token aus der Summe der Anzahl der Token in den Feldern from_text und question.

For general information on compute costs, see Erläuterungen zu den Computekosten.

Usage of Snowflake Cortex LLM functions appears in the Snowflake Organization Usage’s METERING_DAILY_HISTORY view with a service type of AI_SERVICES. To view credit consumption for AI services for all accounts in an organization, use the following query.

SELECT * FROM SNOWFLAKE.ORGANIZATION_USAGE.METERING_DAILY_HISTORY
    WHERE service_type ILIKE '%ai_services%';

Nutzungskontingente¶

To ensure a high standard of performance for all Snowflake customers, Snowflake Cortex LLM functions are subject to usage quotas beyond which requests may be throttled. Snowflake may adjust these quotas from time to time. The quotas in the table below are applied per account.

Kostenmanagement und Drosselung¶

During this preview, Snowflake recommends using a warehouse size no larger than MEDIUM when calling Snowflake Cortex LLM functions. Using a larger warehouse than necessary does not increase performance, but can result in unnecessary costs and a higher risk of throttling. This recommendation may not apply in the future due to upcoming product updates.

Modelleinschränkungen¶

Für die von Snowflake Cortex verwendeten Modelle gelten die in der nachstehenden Tabelle beschriebenen Größenbeschränkungen. Die Größen sind in Anzahl von Token angegeben. Token entsprechen im Allgemeinen Wörtern, aber nicht alle Token sind Wörter, sodass die Anzahl der Wörter, die einem Limit entsprechen, etwas geringer ist als die Anzahl der Token. Eingaben, die dieses Limit überschreiten, führen zu einem Fehler.

Auswählen eines Modells¶

Die Snowflake Cortex-Funktion COMPLETE unterstützt mehrere Modelle mit unterschiedlichen Fähigkeiten, Latenzen und Kosten. Diese Modelle wurden sorgfältig ausgewählt, um den gängigen Anwendungsfällen der Kunden gerecht zu werden. Um die beste Leistung pro Credit zu erzielen, wählen Sie ein Modell, das gut zu Umfang und Komplexität des Inhalts Ihrer Aufgabe passt. Im Folgenden finden Sie einen kurzen Überblick über die verfügbaren Modelle.

• mistral-large is a top-tier model that scores well on a variety of metrics (see table below). It features a context window of 32,000 tokens (about 24,000 words), allowing it to engage in complex reasoning across extended conversations. It is also the most compute-intensive of the models offered by Snowflake Cortex and thus the most costly to run.

• mixtral-8x7b provides low latency and high quality results, while also supporting a context length of 32,000 tokens. It is ideal for many enterprise production use cases.

• llama2-70b-chat is well-suited to complex, large-scale tasks that require a moderate amount of reasoning, like extracting data or helping you to write job descriptions.

• mistral-7b and gemma-7b are capable of executing simple tasks quickly and with better cost efficiency.

  • mistral-7b is ideal for your simplest summarization and classification tasks that require a smaller degree of customization. Its 32,000 token limit gives it the ability to process multiple pages of text.

  • gemma-7b ist für einfache Code- und Textvervollständigungsaufgaben geeignet. Es hat ein Kontextfenster von 8.000 Token, ist aber innerhalb dieses Limits erstaunlich leistungsfähig und recht kostengünstig.

If you’re not sure where to start, try mistral-large first, whether you are already using another top-tier model or are new to LLMs. It is the most broadly capable model offered by Snowflake Cortex, and will give you a good idea what a state-of-the-art model can do. Its results can be used as a baseline in evaluating the other models.

To help you decide, the following table provides information on how popular models perform on various benchmarks, including the models offered by Snowflake Cortex COMPLETE as well as a few other popular models.

^*Zu Vergleichszwecken bereitgestellt; nicht verfügbar in Snowflake Cortex-COMPLETE.

Übersicht zu LLM-Funktionen¶

Fehlerbedingungen¶

Snowflake Cortex-LLM-Funktionen können die folgenden Fehlermeldungen erzeugen.

Verwenden von Snowflake Cortex-LLM-Funktionen mit Python¶

Snowflake Cortex LLM functions are available in Snowpark ML version 1.1.2 and later. See Installieren von Snowpark ML for instructions on setting up Snowpark ML.

Wenn Sie Ihr Python-Skript außerhalb von Snowflake ausführen, müssen Sie eine Snowpark-Sitzung erstellen, um diese Funktionen nutzen zu können. Eine Anleitung dazu finden Sie unter Verbinden mit Snowflake.

Das folgende Python-Beispiel zeigt den Aufruf von Snowflake Cortex-LLM-Funktionen für einzelne Werte:

from snowflake.cortex import Complete, ExtractAnswer, Sentiment, Summarize, Translate

text = """
    The Snowflake company was co-founded by Thierry Cruanes, Marcin Zukowski,
    and Benoit Dageville in 2012 and is headquartered in Bozeman, Montana.
"""

print(Complete("llama2-70b-chat", "how do snowflakes get their unique patterns?"))
print(ExtractAnswer(text, "When was snowflake founded?"))
print(Sentiment("I really enjoyed this restaurant. Fantastic service!"))
print(Summarize(text))
print(Translate(text, "en", "fr"))

Sie können auch eine LLM-Funktion für eine Tabellenspalte aufrufen, wie unten gezeigt. Dieses Beispiel erfordert ein Sitzungsobjekt (gespeichert in session) und eine Tabelle articles mit einer Textspalte abstract_text. Das Beispiel erstellt eine neue Spalte abstract_summary mit einer Zusammenfassung des Abstracts.

from snowflake.cortex import Summarize
from snowflake.snowpark.functions import col

article_df = session.table("articles")
article_df = article_df.withColumn(
    "abstract_summary",
    Summarize(col("abstract_text"))
)
article_df.collect()

Rechtliche Hinweise¶

Snowflake Cortex LLM Functions are powered by machine learning technology, including Meta’s LLaMA 2. The foundation LLaMA 2 model is licensed under the LLaMA 2 Community License and Copyright (c) Meta Platforms, Inc. All Rights Reserved. Your use of any LLM Functions based on the LLama 2 model is subject to Meta’s Acceptable Use Policy.

Machine learning technology and results provided may be inaccurate, inappropriate, or biased. Decisions based on machine learning outputs, including those built into automatic pipelines, should have human oversight and review processes to ensure model-generated content is accurate.

LLM function queries will be treated as any other SQL query and may be considered metadata.

For further information, see Snowflake AI Trust and Safety FAQ.