Paramétrer le connecteur Openflow pour Microsoft Dataverse¶

Conditions préalables¶

1. Assurez-vous d’avoir consulté À propos de Openflow Connector for Microsoft Dataverse.

2. Assurez-vous d’avoir Configuration d’Openflow - BYOC ou Configuration d’Openflow - Déploiement Snowflake - Vue d’ensemble des tâches.

Obtenir les identifiants de connexion¶

En tant qu’administrateur Microsoft Dataverse, effectuez les étapes suivantes :

1. Assurez-vous que vous disposez d’un environnement Dataverse avec lequel travailler et que vous avez accès à cet environnement via https://admin.powerplatform.microsoft.com/.

2. Assurez-vous d’avoir une application enregistrée dans Microsoft Entra ID sur portail.azure.com. Cette application doit avoir accès au client pour lequel notre environnement Dataverse est disponible. Pour enregistrer l’application, suivez ce guide.

3. Générer et stocker l’ClientID et le secret du client dans cette application.

4. Accédez au Centre d’administration de Power Apps et configurez votre environnement Dataverse pour qu’il soit accessible via des applications enregistrées au préalable. Pour ce faire, accédez à Manage » Environments et sélectionnez l’environnement à configurer. Rendez-vous ensuite dans Settings » Users & permissions » Application users. Les applications précédemment créées doivent être ajoutées et se voir accorder les privilèges nécessaires pour lire les données de Microsoft Dataverse.

5. Copiez et enregistrez l’URL de l’environnement Dataverse sélectionné à partir de https://admin.powerplatform.microsoft.com/.

Paramétrage du compte Snowflake¶

En tant qu’administrateur de compte Snowflake, effectuez les tâches suivantes :

1. Créez un utilisateur Snowflake avec le type SERVICE.

   Créez une base de données et un schéma pour stocker les données répliquées et définissez les privilèges de l’utilisateur du service pour créer des tables dans le schéma de destination en accordant les privilèges USAGE et CREATE TABLE.

   CREATE DATABASE <destination_database>;
   CREATE SCHEMA <destination_database>.<destination_schema>;
   CREATE USER <openflow_user> TYPE=SERVICE COMMENT='Service user for automated access of Openflow';
   CREATE ROLE <openflow_role>;
   GRANT ROLE <openflow_role> TO USER <openflow_user>;
   GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>;
   GRANT USAGE ON SCHEMA <destination_database>.<destination_schema> TO ROLE <openflow_role>;
   GRANT CREATE TABLE ON SCHEMA <destination_database>.<destination_schema> TO ROLE <openflow_role>;
   CREATE WAREHOUSE <openflow_warehouse>
        WITH
            WAREHOUSE_SIZE = 'SMALL'
            AUTO_SUSPEND = 300
            AUTO_RESUME = TRUE;
   GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
   

   Copy

   1. Créez une paire de clés sécurisées (publique et privée). Stockez la clé privée de l’utilisateur dans un fichier à fournir à la configuration du connecteur. Attribuez la clé publique à l’utilisateur du service Snowflake :

      ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
      

      Copy

      Pour plus d’informations, voir paire de clés.

2. Snowflake recommande vivement cette étape. Configurez un gestionnaire de secrets pris en charge par Openflow, par exemple AWS, Azure et Hashicorp, et stockez les clés publiques et privées dans le magasin de secrets.

   Note

   Si, pour une raison quelconque, vous ne souhaitez pas utiliser un gestionnaire de secrets, il vous incombe de protéger les fichiers de clés publiques et privées utilisés pour l’authentification par paires de clés conformément aux politiques de sécurité de votre organisation.

   1. Une fois le gestionnaire de secrets configuré, déterminez comment vous vous y authentifierez. Sur AWS, il est recommandé d’utiliser le rôle de l’instance EC2 associée à Openflow, car de cette manière, aucun autre secret ne doit être conservé.

   2. Dans Openflow, configurez un fournisseur de paramètres associé à ce gestionnaire de secrets, à partir du menu hamburger en haut à droite. Naviguez jusqu’à Controller Settings » Parameter Provider, puis récupérez vos valeurs de paramètres.

   3. À ce stade, tous les identifiants peuvent être référencés avec les chemins de paramètres associés et aucune valeur sensible ne doit être conservée dans Openflow.

3. Si d’autres utilisateurs de Snowflake ont besoin d’accéder aux documents bruts ingérés et aux tables ingérées par le connecteur (par exemple, pour un traitement personnalisé dans Snowflake), accordez à ces utilisateurs le rôle créé à l’étape 1.

4. Désignez un entrepôt à utiliser par le connecteur. Accordez le privilège USAGE pour l’entrepôt au rôle créé précédemment. Commencez par la taille d’entrepôt la plus petite, puis faites des essais en fonction du nombre de tables répliquées et de la quantité de données transférées. Les tables de grande taille s’adaptent généralement mieux aux entrepôts multi-clusters, plutôt qu’aux entrepôts de grande taille.

Définir le connecteur¶

En tant qu’ingénieur des données, effectuez les tâches suivantes pour installer et configurer le connecteur :

Exécutez le flux¶

1. Cliquez avec le bouton droit de la souris sur l’avion et sélectionnez Enable all Controller Services.

2. Cliquez avec le bouton droit de la souris sur le groupe de processus importé et sélectionnez Start. Le connecteur démarre l’ingestion des données.