Allgemeine Informationen zu Openflow - Snowflake Deployments¶

Openflow - Snowflake Deployment werden auf Snowpark Container Services (SPCS) ausgeführt und bieten eine optimierte und integrierte Lösung für die Datenintegration und -konnektivität über interoperable Speicher wie Iceberg und nativen Snowflake-Speicher hinweg. Als vollständig in sich geschlossener Dienst innerhalb von Snowflake ist die Lösung einfach bereitzustellen und zu verwalten und bietet eine praktische und kostengünstige Umgebung für die Ausführung Ihrer Datenströme. Ein entscheidender Vorteil ist die native Integration in das Sicherheitsmodell von Snowflake, das eine nahtlose Authentifizierung, Autorisierung und Netzwerksicherheit sowie vereinfachte Vorgänge ermöglicht.

Obwohl Kunden sowohl BYOC- als auch Snowflake-Bereitstellungen haben können, werden die folgenden Anwendungsfälle aufgeführt, die sich gut für Snowflake-Bereitstellungen eignen:

Einbindung von genauen Daten in die Bronze-Schicht: Einlesen von Rohdaten aus verschiedenen Quellen direkt in Snowflake und Verwenden von Openflow Snowflake-Bereitstellungen zum Extrahieren und Laden.
Anreicherung von Daten: Ausführen von Pipelines, um Tabellen anzureichern, die bereits in Snowflake vorhanden sind.
An einem Ort von der Datenaufnahme zu Erkenntnissen: Entwicklung von Anwendungen, bei denen der gesamte Datenlebenszyklus (Erfassen, Verarbeiten und Bereitstellen von Daten) innerhalb des Snowflake-Ökosystems stattfindet.
Umwandeln von Rohdaten in Erkenntnisse mit AI: Das Aufnehmen von unstrukturierten Daten und beispielsweise die anschließende Verwendung von Snowflake Intelligence, um sie besser zu durchsuchen und zu verstehen, und das alles zusammen mit den anderen strukturierten Daten der Benutzer.
Verwenden von Reverse ETL: Schließen der Schleife bei der Generierung von Erkenntnissen durch Freigabe für externe Betriebssysteme über APIs, Messaging-Infrastruktur und mehr.

Erläuterungen zu Laufzeitrollen und Integrationen für den externen Zugriff¶

Openflow - Snowflake Deployments muss in der Lage sein, mit Datenquellen und -zielen zu interagieren, die sich normalerweise außerhalb von Snowflake befinden. Darüber hinaus müssen diese Bereitstellungen auch mit Snowflake selbst kommunizieren und darauf zugreifen können. Laufzeitrollen und Integrationen für den externen Zugriff bieten diese Unterstützung.

Was ist eine Laufzeitrolle?¶

Eine Laufzeitrolle ist eine traditionelle Snowflake-Rolle, die mit einer bestimmten Openflow-Laufzeitumgebung verknüpft ist und für die folgenden Aufgaben verwendet wird:

Zugriff auf Integrationen für den externen Zugriff (EAIs) gewähren. Diese EAIs geben Sie Regeln an, die es der Laufzeitumgebung ermöglichen, von Snowflake aus auf die Datenquellen und -ziele zuzugreifen.
Zugriff auf Snowflake-Ressourcen gewähren.
Zugriff auf Ressourcen gewähren, die konnektorspezifisch sind

Laufzeitrollen sind mit Openflow-Sitzungstoken verknüpft, sodass Kunden keine separaten Dienstbenutzer und Schlüsselpaare für die Authentifizierung bei Snowflake erstellen müssen.

Was ist eine Integration für den externen Zugriff (EAI) innerhalb von Openflow?¶

Eine Integration für den externen Zugriff (EAI) ist ein Snowflake-Objekt, das einen sicheren Zugriff auf externe Ressourcen bietet, wie z. B. Quellsysteme, aus denen Openflow-Konnektoren externe Daten abrufen. Openflow Snowflake-Bereitstellungen verwenden EAIs und Netzwerkregeln zusammen, um die Endpunkte zu definieren, von denen ein Openflow-Konnektor lesen oder in die ein Openflow-Konnektor schreiben kann.

Data Engineers definieren und konfigurieren EAIs und Laufzeitrollen, die für einen bestimmten Konnektor und die ihm zugrunde liegende Laufzeitumgebung spezifisch sind.

Typischer Openflow - Snowflake Deployment-Workflow¶

In den folgenden Abschnitten werden Openflow - Snowflake Deployment-Konzepte und -Workflows beschrieben.

Benutzer-Persona	Aufgabe
Snowflake-Administrator	Konfiguriert Core Snowflake und Integrationen für den externen Zugriff. Siehe Openflow einrichten – Snowflake-Bereitstellung – Überblick zu Aufgaben. Erstellt eine Reihe von Bereitstellungen in Snowflake. Die Openflow-UI wird zum Verwalten von Bereitstellungen sowie zur Erstellung und Wartung von Laufzeitumgebungen verwendet. Die Openflow-UI ermöglicht Benutzern das Erstellen, Aktualisieren und Löschen sowie das Ändern der Größe von Laufzeiten in allen Bereitstellungen.
Data Engineer (Pipeline-Autor, verantwortlich für die Datenaufnahme)	Erstellt Laufzeitrollen, externe Integrationen und andere Objekte, die später von Laufzeitumgebungen verwendet werden können. Verwendet den Laufzeitbereich, um völlig neue Abläufe zu erstellen oder bereitgestellte Konnektoren zu konfigurieren. Erstellt einen völlig neuen Ablauf oder verwendet einen vorhandenen Konnektor in der vorliegenden Form oder als Ausgangspunkt für Anpassungen. Konnektoren sind eine einfache Möglichkeit, die für einen bestimmten Integrationsanwendungsfall geeignet ist, und Benutzer mit geringeren technischen Kenntnissen können sie ohne die Unterstützung eines Data Engineers bereitstellen.
Data Engineer (Pipeline-Betreiber)	Konfiguriert Ablaufparameter und führt den Ablauf aus.
Data Engineer (verantwortet für die Transformation in Silber- und Gold-Schichten)	Verantwortlich für die Umwandlung von Daten aus der Bronzeschicht, die von der Pipeline gefüllt wurde, in die Silber- und Goldschichten für Analysen.
Geschäftssanwender	Verwendet Gold-Schicht-Objekte für die Analyse.

Einschränkungen¶

Openflow - Snowflake Deployment wird bei Testkonten nicht unterstützt.
Nur ein einziges Openflow - Snowflake Deployment wird pro Konto unterstützt. Ein Konto kann jedoch viele Openflow - Snowflake Deployment-Laufzeiten haben – jeweils mit einer separaten Rolle und einem separaten Netzwerkzugriff. Dadurch können Benutzer den Workload trennen.
Kunden, die private Konnektivität benötigen, müssen ausgehenden PrivateLink konfigurieren. Private Link ist nur für Business Critical Edition verfügbar.

Nächste Schritte¶

Openflow einrichten – Snowflake-Bereitstellung – Überblick zu Aufgaben