À propos de Openflow - Snowflake Deployments¶
Openflow - Snowflake Deployment s’exécute sur Snowpark Container Services (SPCS) et fournit une solution rationalisée et intégrée pour l’intégration des données et la connexion sur des zones de stockage interopérables comme Iceberg et le stockage natif de Snowflake. En tant que service entièrement autonome au sein de Snowflake, il est facile à déployer et à gérer, offrant un environnement pratique et rentable pour l’exécution de vos flux de données. Un avantage important est son intégration native au modèle de sécurité de Snowflake, qui permet une authentification, une autorisation et une sécurité réseau transparentes et des opérations simplifiées.
Bien que les clients puissent bénéficier à la fois des déploiements BYOC et Snowflake, voici une liste de cas d’utilisation bien adaptés aux déploiements Snowflake :
Incorporation de données haute fidélité dans la couche bronze : Attribution de données brutes provenant de diverses sources directement dans Snowflake et utilisation de déploiements Openflow Snowflake pour l’extraction et le chargement.
Enrichissement des données : Exécution de pipelines pour enrichir les tables qui existent déjà à l’intérieur de Snowflake.
De l’ingestion à l’insight en un seul endroit : Création d’applications dans lesquelles le cycle de vie des données (ingestion, traitement et service) a lieu dans l’écosystème Snowflake.
Transformation de données brutes en insights grâce à l’AI : Ingestion de données non structurées puis, par exemple, utilisation de Snowflake Intelligence pour les rechercher et mieux les comprendre, le tout en collaboration avec les autres données structurées des utilisateurs.
Utilisation de l’ETL inverse : Fermeture de la boucle de génération d’insights grâce au partage avec des systèmes opérationnels externes via des APIs, une infrastructure de messagerie, et plus encore.
Understanding Snowflake roles and External Access Integrations¶
Openflow - Snowflake Deployments must be able to interact with data sources and destinations that are typically outside Snowflake. In addition these deployments must also be able to communicate with and access Snowflake itself. Snowflake roles and external access integrations provide this support.
What is a Snowflake role?¶
A Snowflake role is a traditional Snowflake role, associated with a specific Openflow Runtime, and used for the following tasks:
Accorder l’accès à des intégrations d’accès externes (EAIs). Ces EAIs spécifient les règles qui permettent à l’exécution d’accéder aux sources et aux destinations de données à partir de Snowflake lui-même.
Accorder l’accès aux ressources Snowflake.
Accorder l’accès à des ressources spécifiques à un connecteur.
Snowflake roles are linked to Openflow session tokens, avoiding the need for customers to create separate service users and key pairs for authentication to Snowflake.
Qu’est-ce qu’une intégration d’accès externe (EAI) dans Openflow ?¶
Une intégration d’accès externe (EAI) est un objet Snowflake conçu pour fournir un accès sécurisé aux ressources externes, telles que les systèmes sources à partir desquels les connecteurs Openflow extraient des données externes. Les déploiements Openflow Snowflake utilisent les EAIs et les règles réseau ensemble pour définir les points de terminaison dans lesquels un connecteur Openflow peut lire ou écrire.
Data engineers define and configure EAIs and Snowflake roles specific to a given connector and its underlying runtime.
Flux de travail Openflow - Snowflake Deployment typique¶
Les sections suivantes décrivent les flux de travail et les concepts Openflow - Snowflake Deployment.
Personnage utilisateur |
Tâche |
|---|---|
Administrateur Snowflake |
|
Ingénieur des données (auteur du pipeline, responsable de l’ingestion des données) |
Les connecteurs sont un moyen simple de résoudre un cas d’utilisation d’intégration spécifique, et les utilisateurs moins expérimentés peuvent les déployer sans l’aide d’un ingénieur de données. |
Ingénieur de données (opérateur de pipeline) |
Configure les paramètres du flux et exécute le flux. |
Ingénieur de données (responsable de la transformation en couches argent et or) |
Responsable de la transformation des données de la couche bronze alimentée par le pipeline en couches argent et or pour l’analyse. |
Utilisateur professionnel |
Utilise des objets de la couche or pour les analyses. |
Limitations¶
Openflow - Snowflake Deployment n’est pas pris en charge dans les comptes d’essai.
Un seul Openflow - Snowflake Deployment est pris en charge par compte. Cependant, un compte peut avoir de nombreuses exécutions Openflow - Snowflake Deployment, chacune ayant un rôle et un accès au réseau distincts, ce qui permet aux utilisateurs de répartir la charge de travail.
Les utilisateurs dont le rôle par défaut est ACCOUNTADMIN ne peuvent pas se connecter aux environnements d’exécution Openflow - Snowflake Deployment et obtiendront un message d’erreur lorsqu’ils tentent de le faire.
Les clients ayant besoin d’une connexion privée devront configurer une connexion PrivateLink sortante. Private Link est disponible pour Business Critical Edition uniquement.
Prochaines étapes¶
Configuration d’Openflow - Déploiement Snowflake - Vue d’ensemble des tâches