Allgemeine Informationen zu Openflow - Snowflake Deployments¶
Openflow - Snowflake Deployment werden auf Snowpark Container Services (SPCS) ausgeführt und bieten eine optimierte und integrierte Lösung für die Datenintegration und -konnektivität über interoperable Speicher wie Iceberg und nativen Snowflake-Speicher hinweg. Als vollständig in sich geschlossener Dienst innerhalb von Snowflake ist die Lösung einfach bereitzustellen und zu verwalten und bietet eine praktische und kostengünstige Umgebung für die Ausführung Ihrer Datenströme. Ein entscheidender Vorteil ist die native Integration in das Sicherheitsmodell von Snowflake, das eine nahtlose Authentifizierung, Autorisierung und Netzwerksicherheit sowie vereinfachte Vorgänge ermöglicht.
Obwohl Kunden sowohl BYOC- als auch Snowflake-Bereitstellungen haben können, werden die folgenden Anwendungsfälle aufgeführt, die sich gut für Snowflake-Bereitstellungen eignen:
Einbindung von genauen Daten in die Bronze-Schicht: Einlesen von Rohdaten aus verschiedenen Quellen direkt in Snowflake und Verwenden von Openflow Snowflake-Bereitstellungen zum Extrahieren und Laden.
Anreicherung von Daten: Ausführen von Pipelines, um Tabellen anzureichern, die bereits in Snowflake vorhanden sind.
An einem Ort von der Datenaufnahme zu Erkenntnissen: Entwicklung von Anwendungen, bei denen der gesamte Datenlebenszyklus (Erfassen, Verarbeiten und Bereitstellen von Daten) innerhalb des Snowflake-Ökosystems stattfindet.
Umwandeln von Rohdaten in Erkenntnisse mit AI: Das Aufnehmen von unstrukturierten Daten und beispielsweise die anschließende Verwendung von Snowflake Intelligence, um sie besser zu durchsuchen und zu verstehen, und das alles zusammen mit den anderen strukturierten Daten der Benutzer.
Verwenden von Reverse ETL: Schließen der Schleife bei der Generierung von Erkenntnissen durch Freigabe für externe Betriebssysteme über APIs, Messaging-Infrastruktur und mehr.
Understanding Snowflake roles and External Access Integrations¶
Openflow - Snowflake Deployments must be able to interact with data sources and destinations that are typically outside Snowflake. In addition these deployments must also be able to communicate with and access Snowflake itself. Snowflake roles and external access integrations provide this support.
What is a Snowflake role?¶
A Snowflake role is a traditional Snowflake role, associated with a specific Openflow Runtime, and used for the following tasks:
Zugriff auf Integrationen für den externen Zugriff (EAIs) gewähren. Diese EAIs geben Sie Regeln an, die es der Laufzeitumgebung ermöglichen, von Snowflake aus auf die Datenquellen und -ziele zuzugreifen.
Zugriff auf Snowflake-Ressourcen gewähren.
Zugriff auf Ressourcen gewähren, die konnektorspezifisch sind
Snowflake roles are linked to Openflow session tokens, avoiding the need for customers to create separate service users and key pairs for authentication to Snowflake.
Was ist eine Integration für den externen Zugriff (EAI) innerhalb von Openflow?¶
Eine Integration für den externen Zugriff (EAI) ist ein Snowflake-Objekt, das einen sicheren Zugriff auf externe Ressourcen bietet, wie z. B. Quellsysteme, aus denen Openflow-Konnektoren externe Daten abrufen. Openflow Snowflake-Bereitstellungen verwenden EAIs und Netzwerkregeln zusammen, um die Endpunkte zu definieren, von denen ein Openflow-Konnektor lesen oder in die ein Openflow-Konnektor schreiben kann.
Data engineers define and configure EAIs and Snowflake roles specific to a given connector and its underlying runtime.
Typischer Openflow - Snowflake Deployment-Workflow¶
In den folgenden Abschnitten werden Openflow - Snowflake Deployment-Konzepte und -Workflows beschrieben.
Benutzer-Persona |
Aufgabe |
|---|---|
Snowflake-Administrator |
|
Data Engineer (Pipeline-Autor, verantwortlich für die Datenaufnahme) |
Konnektoren sind eine einfache Möglichkeit, die für einen bestimmten Integrationsanwendungsfall geeignet ist, und Benutzer mit geringeren technischen Kenntnissen können sie ohne die Unterstützung eines Data Engineers bereitstellen. |
Data Engineer (Pipeline-Betreiber) |
Konfiguriert Ablaufparameter und führt den Ablauf aus. |
Data Engineer (verantwortet für die Transformation in Silber- und Gold-Schichten) |
Verantwortlich für die Umwandlung von Daten aus der Bronzeschicht, die von der Pipeline gefüllt wurde, in die Silber- und Goldschichten für Analysen. |
Geschäftssanwender |
Verwendet Gold-Schicht-Objekte für die Analyse. |
Einschränkungen¶
Openflow - Snowflake Deployment wird bei Testkonten nicht unterstützt.
Nur ein einziges Openflow - Snowflake Deployment wird pro Konto unterstützt. Ein Konto kann jedoch viele Openflow - Snowflake Deployment-Laufzeiten haben – jeweils mit einer separaten Rolle und einem separaten Netzwerkzugriff. Dadurch können Benutzer den Workload trennen.
Benutzer mit der Standardrolle ACCOUNTADMIN können sich nicht bei Openflow - Snowflake Deployment-Laufzeiten anmelden und erhalten eine Fehlermeldung, wenn sie dies versuchen.
Kunden, die private Konnektivität benötigen, müssen ausgehenden PrivateLink konfigurieren. Private Link ist nur für Business Critical Edition verfügbar.
Nächste Schritte¶
Openflow einrichten – Snowflake-Bereitstellung – Überblick zu Aufgaben