Regionenübergreifende Inferenz¶

Inferenz ist der Prozess der Verwendung eines Modells für maschinellen Lernen, um eine Ausgabe auf der Grundlage einer Benutzereingabe zu erhalten. Wenn Sie zum Beispiel die Funktion SNOWFLAKE.CORTEX.COMPLETE aufrufen, fordern Sie eine Inferenz von LLM mit Ihrer Eingabeaufforderung als Eingabe an. In Snowflake können Sie Ihr Konto mit dem Parameter CORTEX_ENABLED_CROSS_REGION so konfigurieren, dass eine regionsübergreifende Inferenzverarbeitung möglich ist. Dieser Parameter ermöglicht die Verarbeitung von Inferenzanfragen in einer anderen Region als der Standardregion. Der Parameter für die regionsübergreifende Inferenz wird verwendet, um das Verhalten für jedes Snowflake-Feature festzulegen, das von der regionsübergreifenden Inferenz unterstützt wird, einschließlich der Cortex-LLM-Funktionen.

Wenn diese Option aktiviert ist, wird eine regionsübergreifende Inferenz durchgeführt, wenn das LLM oder das Feature in Ihrer Standardregion nicht unterstützt wird.

Standardmäßig ist der Parameter auf DISABLED gesetzt. Damit können Anfragen nur in der Standardregion bearbeitet werden. Mit dem Befehl ALTER ACCOUNT können Sie die Regionen angeben, für die Sie regionsübergreifende Inferenz zulassen möchten.

Weitere Informationen zu diesem Parameter finden Sie unter CORTEX_ENABLED_CROSS_REGION.

Anforderungen an die Zugriffssteuerung¶

Dieser Parameter kann nur auf Kontoebene eingestellt werden, nicht auf Benutzer- oder der Sitzungsebene. Nur die Rolle ACCOUNTADMIN kann den Parameter mit dem Befehl ALTER ACCOUNT festlegen:

ALTER ACCOUNT SET CORTEX_ENABLED_CROSS_REGION = 'AWS_US';

Copy

Dieser Parameter kann nicht über die Rolle ORGADMIN festgelegt werden.

So verwenden Sie den Parameter für die regionsübergreifende Inferenz¶

Standardmäßig ist dieser Parameter auf DISABLED festgelegt. Das bedeutet, dass die Anfragen nur in der Standardregion verarbeitet werden. Die folgenden Beispiele zeigen, wie Sie den regionsübergreifenden Parameter für verschiedene Anwendungsfälle einstellen können.

Alle Regionen¶

Um allen Snowflake Regionen, die regionsübergreifende Inferenzanfragen unterstützen, die Verarbeitung Ihrer Anfragen zu erlauben, setzen Sie den Parameter auf 'ANY_REGION'.

ALTER ACCOUNT SET CORTEX_ENABLED_CROSS_REGION = 'ANY_REGION';

Copy

Nur Standardregion¶

Um Inferenzanfragen nur in der Standardregion zu verarbeiten, setzen Sie diesen Parameter auf 'DISABLED'.

ALTER ACCOUNT SET CORTEX_ENABLED_CROSS_REGION = 'DISABLED';

Copy

Regionen angeben¶

Um nur bestimmten Regionen die Verarbeitung Ihrer Anfragen zu erlauben, geben Sie die Regionen durch Kommas getrennt in diesem Parameter an. Eine vollständige Liste der Regionen finden Sie unter CORTEX_ENABLED_CROSS_REGION.

Das folgende Beispiel gibt AWS_US- und AWS_EU-Regionen für die Verarbeitung Ihrer Inferenzanfragen an:

ALTER ACCOUNT SET CORTEX_ENABLED_CROSS_REGION = 'AWS_US,AWS_EU';

Copy

Hinweise zu Kosten¶

Ihnen werden Credits für die Nutzung LLM gemäß der Snowflake Service Consumption Table berechnet. Credits gelten als in der anfragenden Region verbraucht. Wenn Sie zum Beispiel eine LLM-Funktion von der Region us-east-2 aus aufrufen und die Anfrage in der Region us-west-2 verarbeitet wird, gelten die Credits als in der Region us-east-2 verbraucht.
Für die Verwendung der regionsübergreifenden Inferenz fallen keine Gebühren für ausgehende Daten an.

Hinweise¶

Die Latenzzeit zwischen den Regionen hängt von der Infrastruktur des Cloudanbieters und dem Netzwerkstatus ab. Snowflake empfiehlt, dass Sie Ihren speziellen Anwendungsfall mit aktivierter regionsübergreifender Inferenz testen.
Regionsübergreifende Interferenz wird in den US-amerikanischen SnowGov-Regionen nicht unterstützt. Das bedeutet, dass Sie keine regionsübergreifenden Anfragen in oder aus den Regionen von SnowGov stellen können.
Sie können diese Einstellung von GCP oder Azure Regionen aus verwenden, um Anfragen für Features zu stellen, die in diesen Regionen nicht unterstützt werden.
Benutzereingaben, durch einen Dienst generierte Aufforderungen und Ausgaben werden während der regionsübergreifenden Inferenz nicht gespeichert oder zwischengespeichert.
Die für die Inferenzanfrage benötigten Daten werden wie folgt zwischen den Regionen übertragen:
- Wenn sich sowohl die Quell- als auch die Zielregion in AWS befinden, bleiben die Daten innerhalb des globalen Netzwerks AWS. Alle Daten, die über das globale AWS-Netzwerk fließen, das die Rechenzentren und Regionen miteinander verbindet, werden automatisch auf der physischen Ebene verschlüsselt.
- Befinden sich die Regionen bei verschiedenen Cloudanbietern, dann werden die Daten über das öffentliche Internet mit Mutual Transport Layer Security (mTLS) übertragen.

Nächste Schritte¶

Einzelheiten zum Parameter für die regionsübergreifende Inferenz finden Sie im Abschnitt CORTEX_ENABLED_CROSS_REGION Übersicht der SQL-Parameter.