Paramétrez Openflow Connector for SQL Server¶

Conditions préalables¶

Avant de configurer le connecteur, assurez-vous d’avoir rempli les conditions préalables suivantes :

1. Assurez-vous d’avoir consulté À propos de Openflow Connector for SQL Server.

2. Assurez-vous d’avoir consulté Versions du serveur SQL prises en charge.

3. Assurez-vous d’avoir configuré votre déploiement d’exécution. Pour plus d’informations, consultez les rubriques suivantes :

   • Configuration d’Openflow - BYOC

   • Configurer Openflow - Déploiements Snowflake.

4. Si vous utilisez Openflow - Snowflake Deployments, assurez-vous d’avoir examiné la configuration des domaines requis et d’avoir accordé l’accès aux domaines requis pour le connecteur SQL Server.

Configurer votre instance SQL Server¶

Avant de configurer le connecteur, effectuez les tâches suivantes dans votre environnement SQL Server :

1. Activez le suivi des modifications sur les bases de données et les tables que vous prévoyez de répliquer, comme montré dans l’exemple SQL Server suivant :

   ALTER DATABASE <database>
     SET CHANGE_TRACKING = ON
     (CHANGE_RETENTION = 2 DAYS, AUTO_CLEANUP = ON);
   
   ALTER TABLE <schema>.<table>
     ENABLE CHANGE_TRACKING
     WITH (TRACK_COLUMNS_UPDATED = ON);
   

   Copy

   Note

   Exécutez ces commandes pour chaque base de données et chaque table que vous prévoyez de répliquer.

   Le connecteur exige que le suivi des modifications soit activé sur les bases de données et les tables avant le début de la réplication. Assurez-vous que le suivi des modifications est activé pour chaque table que vous prévoyez de répliquer. Vous pouvez également activer le suivi des modifications pour d’autres tables lorsque le connecteur est en cours d’exécution.

2. Créez une connexion pour l’instance SQL Server :

   CREATE LOGIN <user_name> WITH PASSWORD = '<password>';
   

   Copy

   Cette connexion est utilisée pour créer des utilisateurs pour les bases de données que vous prévoyez de répliquer.

3. Créez un utilisateur pour chaque base de données que vous répliquez en exécutant la commande SQL Server suivante dans chaque base de données :

   USE <source_database>;
   CREATE USER <user_name> FOR LOGIN <user_name>;
   

   Copy

4. Accordez les autorisations SELECT et VIEW CHANGE TRACKING à l’utilisateur pour chaque base de données que vous répliquez :

   GRANT SELECT ON <database>.<schema>.<table> TO <user_name>;
   GRANT VIEW CHANGE TRACKING ON <database>.<schema>.<table> TO <user_name>;
   

   Copy

   Exécutez ces commandes dans chaque base de données pour chaque table que vous prévoyez de répliquer. Ces autorisations doivent être accordées à l’utilisateur de chaque base de données que vous avez créée précédemment.

5. (Facultatif) Configurez la connexion SSL.

   Si vous utilisez une connexion SSL pour vous connecter au SQL Server, créez le certificat racine pour votre serveur de base de données. Ceci est nécessaire lors de la configuration du connecteur.

Configurer votre environnement Snowflake¶

En tant qu’administrateur de compte Snowflake, effectuez les tâches suivantes :

1. Créez une base de données de destination dans Snowflake pour stocker les données répliquées :

   CREATE DATABASE <destination_database>;
   

   Copy

2. Créez un utilisateur de service Snowflake :

   CREATE USER <openflow_user>
     TYPE = SERVICE
     COMMENT='Service user for automated access of Openflow';
   

   Copy

3. Créez un rôle Snowflake pour le connecteur et accordez-lui les privilèges requis :

   CREATE ROLE <openflow_role>;
   GRANT ROLE <openflow_role> TO USER <openflow_user>;
   GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>;
   GRANT CREATE SCHEMA ON DATABASE <destination_database> TO ROLE <openflow_role>;
   

   Copy

   Utilisez ce rôle pour gérer l’accès du connecteur à la base de données Snowflake.

   Pour créer des objets dans la base de données de destination, vous devez accorder les privilèges USAGE et CREATE SCHEMA sur la base de données au rôle utilisé pour gérer l’accès.

4. Créez un entrepôt Snowflake pour le connecteur et accordez-lui les privilèges requis :

   CREATE WAREHOUSE <openflow_warehouse> WITH
     WAREHOUSE_SIZE = 'XSMALL'
     AUTO_SUSPEND = 300
     AUTO_RESUME = TRUE;
   GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
   

   Copy

   Snowflake recommends starting with a XSMALL warehouse size, then experimenting with size depending on the number of tables being replicated and the amount of data transferred. Large numbers of tables typically scale better with multi-cluster warehouses, rather than a larger warehouse size. For more information, see multi-cluster warehouses.

5. Configurez les clés publiques et privées pour l’authentification par paire de clés :

   1. Créez une paire de clés sécurisées (publique et privée).

   2. Stockez la clé privée de l’utilisateur dans un fichier à fournir à la configuration du connecteur.

   3. Attribuez la clé publique à l’utilisateur du service Snowflake :

      ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
      

      Copy

      Pour plus d’informations, voir Authentification par paire de clés et rotation de paires de clés.

Configuration du connecteur¶

En tant qu’ingénieur des données, installez et configurez le connecteur à l’aide des sections suivantes.

Installer le connecteur¶

1. Accédez à la page d’aperçu d’Openflow. Dans la section Featured connectors, sélectionnez View more connectors.

2. Sur la page des connecteurs Openflow, trouvez le connecteur et sélectionnez Add to runtime.

3. Dans la boîte de dialogue Select runtime, sélectionnez votre environnement d’exécution dans la liste déroulante Available runtimes, puis cliquez sur Add.

   Note

   Avant d’installer le connecteur, assurez-vous que vous avez créé une base de données et un schéma dans Snowflake pour que le connecteur puisse stocker les données ingérées.

4. Authentifiez-vous au déploiement avec les identifiants de votre compte Snowflake et sélectionnez Allow lorsque vous êtes invité à autoriser l’application d’exécution à accéder à votre compte Snowflake. Le processus d’installation du connecteur prend quelques minutes.

5. Authentifiez-vous auprès de l’environnement d’exécution avec les identifiants de votre compte Snowflake.

Le canevas Openflow apparaît avec le groupe de processus du connecteur ajouté.

Configuration du connecteur¶

Pour configurer le connecteur, procédez comme suit :

1. Cliquez avec le bouton droit de la souris sur le groupe de processus importé et sélectionnez Parameters.

2. Renseignez les valeurs des paramètres requis comme décrit dans Paramètres de débit.

Supprimez et ajoutez à nouveau une table à la réplication¶

Pour supprimer une table de la réplication, supprimez-la des paramètres Noms de tables inclus ou Expressions régulières de table incluses dans le contexte des paramètres de réplication.

Pour ajouter à nouveau la table à la réplication ultérieurement, supprimez d’abord la table de destination correspondante dans Snowflake. Ensuite, ajoutez à nouveau la table aux paramètres Noms des tables incluses ou Table incluse Regex. Cela permet de garantir que le processus de réplication démarre à nouveau pour la table.

Cette approche peut également être utilisée pour récupérer un scénario de réplication de table qui a échoué.

[
    {
        "schema": "<source table schema>",
        "table" : "<source table name>",
        "included": ["<column name>", "<column name>"],
        "excluded": ["<column name>", "<column name>"],
        "includedPattern": "<regular expression>",
        "excludedPattern": "<regular expression>",
    }
]

customers_1234_1
customers_1234_2
orders_5678_1
orders_5678_2

Exécutez le flux¶

1. Cliquez avec le bouton droit de la souris sur l’avion et sélectionnez Enable all Controller Services.

2. Cliquez avec le bouton droit de la souris sur le groupe de processus importé et sélectionnez Start. Le connecteur démarre l’ingestion des données.