Paramétrez Openflow Connector for Excel¶

Conditions préalables¶

1. Assurez-vous d’avoir consulté À propos de Openflow Connector for Excel.

2. Assurez-vous que vous avez paramétré Openflow.

Obtenir les identifiants de connexion¶

Cette section décrit les étapes à suivre pour obtenir vos identifiants de connexion afin de configurer le connecteur. En fonction de votre source de données,

• Obtenir les identifiants de connexion AWS

• Obtenir les identifiants de connexion SharePoint

Paramétrage du compte Snowflake¶

En tant qu’administrateur de compte Snowflake, effectuez les tâches suivantes :

1. Créez un nouveau rôle ou utilisez un rôle existant.

2. Créez un nouvel utilisateur du service Snowflake avec le type SERVICE.

3. Autorisez l’utilisateur du service Snowflake le rôle que vous avez créé dans les étapes précédentes.

4. Configurez avec l’authentification par paire de clés pour l’utilisateur de Snowflake SERVICE de l’étape 2.

5. Fortement recommandé Configurez un gestionnaire de secrets pris en charge par Openflow, par exemple, AWS, Azure et Hashicorp, et stockez les clés publiques et privées dans le magasin de secrets.

   Note

   Si vous ne souhaitez pas utiliser un gestionnaire de secrets, il vous incombe de protéger les fichiers de clés publiques et de clés privées utilisés pour l’authentification par paires de clés conformément aux politiques de sécurité de votre organisation.

   1. Une fois le gestionnaire de secrets configuré, déterminez comment vous vous y authentifierez. Sur AWS, il est recommandé d’utiliser le rôle de l’instance EC2 associée à Openflow afin qu’aucun autre secret ne doive être conservé.

   2. Dans Openflow, configurez un Parameter Provider associé à ce Secrets Manager, à partir du menu hamburger en haut à droite. Naviguez vers Controller Settings » Parameter Provider et récupérez les valeurs de vos paramètres.

   3. À ce stade, tous les identifiants peuvent être référencés avec les chemins de paramètres associés et aucune valeur sensible ne doit être conservée dans Openflow.

6. Si d’autres utilisateurs de Snowflake ont besoin d’accéder aux documents bruts ingérés et aux tables ingérées par le connecteur (par exemple, pour un traitement personnalisé dans Snowflake), accordez à ces utilisateurs le rôle créé à l’étape 1.

7. Créez une base de données et un schéma dans Snowflake pour que le connecteur puisse stocker les données ingérées. Accordez les Privilèges de base de données requis au rôle créé lors de la première étape. Remplacez l’espace réservé au rôle par la valeur réelle et utilisez les commandes SQL suivantes :

   CREATE DATABASE excel_destination_db;
   CREATE SCHEMA excel_destination_db.excel_destination_schema;
   GRANT USAGE ON DATABASE excel_destination_db TO ROLE <excel_connector_role>;
   GRANT USAGE ON SCHEMA excel_destination_db.excel_destination_schema TO ROLE <excel_connector_role>;
   GRANT CREATE TABLE ON SCHEMA excel_destination_db.excel_destination_schema TO ROLE <excel_connector_role>;
   

   Copy

8. Créez un entrepôt qui sera utilisé par le connecteur ou utilisez un entrepôt existant. Commencez par la taille d’entrepôt la plus petite, puis faites des essais en fonction du nombre de tables répliquées et de la quantité de données transférées. Les tables de grande taille s’adaptent généralement mieux aux entrepôts multi-clusters, plutôt qu’aux entrepôts de grande taille.

9. Assurez-vous que l’utilisateur dont le rôle est utilisé par le connecteur dispose des privilèges requis pour utiliser l’entrepôt. Si ce n’est pas le cas, accordez les privilèges requis au rôle :

   CREATE WAREHOUSE excel_connector_warehouse WITH WAREHOUSE_SIZE = 'X-Small';
   GRANT USAGE ON WAREHOUSE excel_connector_warehouse TO ROLE <excel_connector_role>;
   

   Copy

Définir le connecteur¶

En tant qu’ingénieur des données, effectuez les tâches suivantes pour installer et configurer un connecteur :

Exécutez le flux¶

1. Cliquez avec le bouton droit de la souris sur l’avion et sélectionnez Enable all Controller Services.

2. Cliquez avec le bouton droit de la souris sur le groupe de processus importé et sélectionnez Start. Le connecteur démarre l’ingestion des données.

Noms de tables générés¶

Le connecteur crée des tables de destination nommées à l’aide du modèle suivant : {PREFIX}{FILENAME}_{RANGE}. Les noms sont toujours des identificateurs entre guillemets doubles.

• {PREFIX} est remplacé par la valeur du paramètre Destination Table Prefix, par exemple prfx_.

• {FILENAME} est remplacé par le chemin complet du fichier ingéré, par exemple file1.xlsx ou folder/file2.xlsx.

• {RANGE} est remplacé par :

  • Nom de la feuille ingérée si la valeur du paramètre Ranges est vide.

  • Nom de la feuille ingérée avec la plage ingérée telle que spécifiée dans le paramètre Ranges, par exemple Sheet1!A1:B2.

Exemple de noms de tables générés :

• "file1.xlsx_Sheet1"

• "prfx_folder/file2.xlsx_Sheet1!A1:B2"

(Facultatif) Reconfigurez le connecteur en cours d’exécution¶

Vous pouvez reconfigurer les paramètres du connecteur une fois que celui-ci a commencé à ingérer des données. Si vous devez modifier les fichiers ou les plages ingérés, effectuez les étapes suivantes pour vous assurer que les données sont envoyées correctement à Snowflake :

1. Arrêtez le connecteur : assurez-vous que tous les processeurs Openflow sont arrêtés.

2. Accédez aux paramètres de configuration : accédez aux paramètres de configuration du connecteur dans Openflow.

3. Modifier les paramètres : ajustez les paramètres en fonction des exigences.

4. Démarrez le connecteur : démarrez le connecteur et assurez-vous également que tous les services du contrôleur ont démarré.