À propos de Openflow - Snowflake Deployments¶

Openflow - Snowflake Deployment s’exécute sur Snowpark Container Services (SPCS) et fournit une solution rationalisée et intégrée pour l’intégration des données et la connexion sur des zones de stockage interopérables comme Iceberg et le stockage natif de Snowflake. En tant que service entièrement autonome au sein de Snowflake, il est facile à déployer et à gérer, offrant un environnement pratique et rentable pour l’exécution de vos flux de données. Un avantage important est son intégration native au modèle de sécurité de Snowflake, qui permet une authentification, une autorisation et une sécurité réseau transparentes et des opérations simplifiées.

Bien que les clients puissent bénéficier à la fois des déploiements BYOC et Snowflake, voici une liste de cas d’utilisation bien adaptés aux déploiements Snowflake :

Incorporation de données haute fidélité dans la couche bronze : Attribution de données brutes provenant de diverses sources directement dans Snowflake et utilisation de déploiements Openflow Snowflake pour l’extraction et le chargement.
Enrichissement des données : Exécution de pipelines pour enrichir les tables qui existent déjà à l’intérieur de Snowflake.
De l’ingestion à l’insight en un seul endroit : Création d’applications dans lesquelles le cycle de vie des données (ingestion, traitement et service) a lieu dans l’écosystème Snowflake.
Transformation de données brutes en insights grâce à l’AI : Ingestion de données non structurées puis, par exemple, utilisation de Snowflake Intelligence pour les rechercher et mieux les comprendre, le tout en collaboration avec les autres données structurées des utilisateurs.
Utilisation de l’ETL inverse : Fermeture de la boucle de génération d’insights grâce au partage avec des systèmes opérationnels externes via des APIs, une infrastructure de messagerie, et plus encore.

Comprendre les rôles d’exécution et les intégrations d’accès externes¶

Openflow - Snowflake Deployments doit être en mesure d’interagir avec des sources et des destinations de données qui se trouvent généralement en dehors de Snowflake. En outre, ces déploiements doivent également être en mesure de communiquer avec Snowflake lui-même et d’y accéder. Les rôles d’exécution et les intégrations d’accès externes permettent cette prise en charge.

Qu’est-ce qu’un rôle d’exécution ?¶

Un rôle d’exécution est un rôle Snowflake traditionnel, associé à une exécution Openflow spécifique, et utilisé pour les tâches suivantes :

Accorder l’accès à des intégrations d’accès externes (EAIs). Ces EAIs spécifient les règles qui permettent à l’exécution d’accéder aux sources et aux destinations de données à partir de Snowflake lui-même.
Accorder l’accès aux ressources Snowflake.
Accorder l’accès à des ressources spécifiques à un connecteur.

Les rôles d’exécution sont liés aux jetons de session Openflow, évitant ainsi aux clients d’avoir à créer des utilisateurs de service distincts et des paires de clés pour l’authentification dans Snowflake.

Qu’est-ce qu’une intégration d’accès externe (EAI) dans Openflow ?¶

Une intégration d’accès externe (EAI) est un objet Snowflake conçu pour fournir un accès sécurisé aux ressources externes, telles que les systèmes sources à partir desquels les connecteurs Openflow extraient des données externes. Les déploiements Openflow Snowflake utilisent les EAIs et les règles réseau ensemble pour définir les points de terminaison dans lesquels un connecteur Openflow peut lire ou écrire.

Les ingénieurs de données définissent et configurent des EAIs et des rôles d’exécution spécifiques à un connecteur donné et à son exécution sous-jacente.

Flux de travail Openflow - Snowflake Deployment typique¶

Les sections suivantes décrivent les flux de travail et les concepts Openflow - Snowflake Deployment.

Personnage utilisateur	Tâche
Administrateur Snowflake	Configure le noyau Snowflake et les intégrations d’accès externes. Voir Configuration d’Openflow - Déploiement Snowflake - Vue d’ensemble des tâches. Crée un ensemble de déploiements dans Snowflake. L’UI d’Openflow est utilisée pour gérer les déploiements et la création et la maintenance des exécutions. L’UI d’Openflow permet aux utilisateurs de créer, redimensionner, mettre à niveau et supprimer des exécutions dans tous les déploiements.
Ingénieur des données (auteur du pipeline, responsable de l’ingestion des données)	Crée des rôles d’exécution, des intégrations externes et d’autres objets qui peuvent être utilisés plus tard par les exécutions. Utilise le canevas d’exécution pour créer des flux entièrement nouveaux ou pour configurer des connecteurs déployés. Crée un flux entièrement nouveau ou utilise un connecteur existant tel quel ou comme point de départ en vue d’une personnalisation. Les connecteurs sont un moyen simple de résoudre un cas d’utilisation d’intégration spécifique, et les utilisateurs moins expérimentés peuvent les déployer sans l’aide d’un ingénieur de données.
Ingénieur de données (opérateur de pipeline)	Configure les paramètres du flux et exécute le flux.
Ingénieur de données (responsable de la transformation en couches argent et or)	Responsable de la transformation des données de la couche bronze alimentée par le pipeline en couches argent et or pour l’analyse.
Utilisateur professionnel	Utilise des objets de la couche or pour les analyses.

Limitations¶

Openflow - Snowflake Deployment n’est pas pris en charge dans les comptes d’essai.
Un seul Openflow - Snowflake Deployment est pris en charge par compte. Cependant, un compte peut avoir de nombreuses exécutions Openflow - Snowflake Deployment, chacune ayant un rôle et un accès au réseau distincts, ce qui permet aux utilisateurs de répartir la charge de travail.
Les clients ayant besoin d’une connexion privée devront configurer une connexion PrivateLink sortante. Private Link est disponible pour Business Critical Edition uniquement.

Prochaines étapes¶

Configuration d’Openflow - Déploiement Snowflake - Vue d’ensemble des tâches