Paramétrer le connecteur Openflow pour Microsoft Dataverse¶
Note
Le connecteur est soumis aux conditions d’utilisation du connecteur.
Cette rubrique décrit les paramètres de l’ensemble du connecteur Openflow pour Microsoft Dataverse.
Conditions préalables¶
Assurez-vous d’avoir consulté Connecteur Openflow pour Microsoft Dataverse.
Assurez-vous que vous avez paramétré Openflow.
Obtenir les identifiants de connexion¶
En tant qu’administrateur Microsoft Dataverse, effectuez les étapes suivantes :
Assurez-vous que vous disposez d’un environnement Dataverse avec lequel travailler et que vous avez accès à cet environnement via https://admin.powerplatform.microsoft.com/.
Assurez-vous que vous avez une application enregistrée dans portal.azure.com. Cette application doit avoir accès au locataire pour lequel nous disposons de notre environnement Dataverse.
Générer et stocker l’ClientID et le secret du client dans cette application.
Allez dans le centre d’administration de Power Apps et configurez votre environnement Dataverse pour qu’il soit accessible via les applications enregistrées auparavant. Pour ce faire, rendez-vous sur Settings » Users & permissions » des utilisateurs d’application. Les applications créées précédemment doivent être ajoutées et dotées des privilèges nécessaires pour lire les données de Microsoft Dataverse.
Copiez et enregistrez l’URL de l’environnement Dataverse sélectionné à partir de https://admin.powerplatform.microsoft.com/.
Paramétrage du compte Snowflake¶
En tant qu’administrateur de compte Snowflake, effectuez les tâches suivantes :
- Créez un utilisateur Snowflake avec le type SERVICE.
Créez une base de données et un schéma pour stocker les données répliquées et définissez les privilèges de l’utilisateur du service pour créer des tables dans le schéma de destination en accordant les privilèges USAGE et CREATE TABLE.
CREATE DATABASE <destination_database>; CREATE SCHEMA <destination_database>.<destination_schema>; CREATE USER <openflow_user> TYPE=SERVICE COMMENT='Service user for automated access of Openflow'; CREATE ROLE <openflow_role>; GRANT ROLE <openflow_role> TO USER <openflow_user>; GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>; GRANT USAGE ON SCHEMA <destination_database>.<destination_schema> TO ROLE <openflow_role>; GRANT CREATE TABLE ON SCHEMA <destination_database>.<destination_schema> TO ROLE <openflow_role>; CREATE WAREHOUSE <openflow_warehouse> WITH WAREHOUSE_SIZE = 'SMALL' AUTO_SUSPEND = 300 AUTO_RESUME = TRUE; GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
Créez une paire de clés sécurisées (publique et privée). Stockez la clé privée de l’utilisateur dans un fichier à fournir à la configuration du connecteur. Attribuez la clé publique à l’utilisateur du service Snowflake :
ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
Pour plus d’informations, voir paire de clés.
Snowflake recommande vivement cette étape. Configurez un gestionnaire de secrets pris en charge par Openflow, par exemple AWS, Azure et Hashicorp, et stockez les clés publiques et privées dans le magasin de secrets.
Note
Si, pour une raison quelconque, vous ne souhaitez pas utiliser un gestionnaire de secrets, il vous incombe de protéger les fichiers de clés publiques et privées utilisés pour l’authentification par paires de clés conformément aux politiques de sécurité de votre organisation.
Une fois le gestionnaire de secrets configuré, déterminez comment vous vous y authentifierez. Sur AWS, il est recommandé d’utiliser le rôle de l’instance EC2 associée à Openflow, car de cette manière, aucun autre secret ne doit être conservé.
Dans Openflow, configurez un fournisseur de paramètres associé à ce gestionnaire de secrets, à partir du menu hamburger en haut à droite. Naviguez vers Controller Settings » Parameter Provider et récupérez les valeurs de vos paramètres.
À ce stade, tous les identifiants peuvent être référencés avec les chemins de paramètres associés et aucune valeur sensible ne doit être conservée dans Openflow.
Si d’autres utilisateurs de Snowflake ont besoin d’accéder aux documents bruts ingérés et aux tables ingérées par le connecteur (par exemple, pour un traitement personnalisé dans Snowflake), accordez à ces utilisateurs le rôle créé à l’étape 1.
Désignez un entrepôt à utiliser par le connecteur. Accordez le privilège USAGE pour l’entrepôt au rôle créé précédemment. Commencez par la taille d’entrepôt la plus petite, puis faites des essais en fonction du nombre de tables répliquées et de la quantité de données transférées. Les tables de grande taille s’adaptent généralement mieux aux entrepôts multi-clusters, plutôt qu’aux entrepôts de grande taille.
Définir le connecteur¶
En tant qu’ingénieur des données, effectuez les tâches suivantes pour installer et configurer le connecteur :
Installer le connecteur¶
Naviguez jusqu’à la page d’aperçu d’Openflow. Dans la section Featured connectors, sélectionnez View more connectors.
Sur la page des connecteurs Openflow, trouvez le connecteur et sélectionnez Add to runtime.
Dans la boîte de dialogue Select runtime, sélectionnez votre environnement d’exécution dans la liste déroulante Available runtimes.
Sélectionnez Add.
Note
Avant d’installer le connecteur, assurez-vous que vous avez créé une base de données et un schéma dans Snowflake pour que le connecteur puisse stocker les données ingérées.
Authentifiez-vous au déploiement avec les identifiants de votre compte Snowflake et sélectionnez Allow lorsque vous êtes invité à autoriser l’application d’exécution à accéder à votre compte Snowflake. Le processus d’installation du connecteur prend quelques minutes.
Authentifiez-vous auprès de l’environnement d’exécution avec les identifiants de votre compte Snowflake.
Le canevas Openflow apparaît avec le groupe de processus du connecteur ajouté.
Configuration du connecteur¶
Cliquez avec le bouton droit de la souris sur le groupe de processus importé et sélectionnez Parameters.
Renseignez les valeurs des paramètres requis comme décrit dans Paramètres de débit.
Paramètres de débit¶
Cette section décrit les paramètres de flux que vous pouvez configurer en fonction des contextes de paramètres suivants :
Paramètres de la source Dataverse: pour établir la connexion avec Dataverse.
Paramètres de destination du Dataverse: pour établir la connexion avec Snowflake.
Paramètres d’ingestion de Dataverse: pour définir la configuration des données téléchargées depuis Dataverse.
Paramètres de la source Dataverse¶
Paramètre |
Description |
---|---|
URL d’environnement source Dataverse |
L’identificateur principal d’un système source pour la recherche de données. L’URL indique un espace de noms dans lequel des tables Dataverse existent. Elle vous permet également de créer un paramètre de champ d’application pour OAuth. |
ID de locataire source Microsoft Azure |
L’ID de locataire Microsoft vous permet de créer des URLs OAuth. |
ID client source OAuth |
Microsoft Dataverse Web API utilise l’authentification OAuth pour sécuriser l’accès, et le connecteur utilise le flux d’identifiants du client. Pour en savoir plus sur l’ID client et sur la manière de le trouver dans Microsoft Entra, voir ID d’application (ID client). |
OAuth source secret du client |
Microsoft Dataverse Web API utilise l’authentification OAuth pour sécuriser l’accès, et le connecteur utilise le flux d’identifiants du client. Pour en savoir plus sur le secret du client et sur la manière de le trouver dans Microsoft Entra, voir Certificats & secrets. |
Paramètres de destination du Dataverse¶
Paramètre |
Description |
---|---|
Base de données de destination |
La base de données dans laquelle les données seront conservées. Elle doit déjà exister dans Snowflake |
Schéma de destination |
Le schéma dans lequel les données seront conservées. Elle doit déjà exister dans Snowflake |
Identificateur de compte Snowflake |
Nom du compte Snowflake formaté comme suit : [[nom de l’organisation] -[[nom du compte] où les données seront conservées |
Stratégie d’authentification Snowflake |
Stratégie d’authentification auprès de Snowflake. Valeurs possibles : SNOWFLAKE_SESSION_TOKEN - lorsque nous exécutons le flux sur SPCS, KEY_PAIR lorsque nous voulons configurer l’accès à l’aide d’une clé privée |
Clé privée de Snowflake |
La clé privée RSA utilisée pour l’authentification. La clé RSA doit être formatée selon les normes PKCS8 et comporter les en-têtes et pieds de page standard PEM. Notez que vous devez définir soit le fichier de clé privée de Snowflake, soit la clé privée de Snowflake |
Fichier de clé privée de Snowflake |
Le fichier qui contient la clé privée RSA utilisée pour l’authentification à Snowflake, formaté selon les normes PKCS8 et comportant les en-têtes et pieds de page standard PEM. La ligne d’en-tête commence par |
Mot de passe de la clé privée de Snowflake |
Le mot de passe associé au fichier de la clé privée de Snowflake |
Rôle Snowflake |
Rôle Snowflake utilisé lors de l’exécution de la requête |
Nom d’utilisateur Snowflake |
Nom d’utilisateur utilisé pour se connecter à l’instance de Snowflake |
Entrepôt Snowflake |
L’entrepôt de Snowflake est utilisé pour exécuter des requêtes |
Paramètres d’ingestion Dataverse¶
Paramètre |
Description |
---|---|
Intervalle de planification |
Le processeur chargé de l’annonce d’une liste de tables à ingérer doit être déclenché selon une planification. L’intervalle est fourni par l’utilisateur. |
Stratégie de filtrage des tables sources |
Stratégie de filtrage des tables à ingérer. Il peut s’agir de l’un desREGEXP et LIST. |
Valeur de filtrage des tables sources |
Valeur du filtre des tables. Lorsque la stratégie de filtrage des tables sources est paramétrée sur REGEXP, il s’agit de l’expression régulière qui doit correspondre aux tables sélectionnées. Si LIST est fourni, il s’agit d’une liste de noms de tables séparés par des virgules. |
Exécutez le flux¶
Cliquez avec le bouton droit de la souris sur l’avion et sélectionnez Enable all Controller Services.
Cliquez avec le bouton droit de la souris sur le groupe de processus importé et sélectionnez Start. Le connecteur démarre l’ingestion des données.