Paramétrez Openflow Connector for SQL Server¶

Conditions préalables¶

1. Assurez-vous d’avoir consulté À propos de Openflow Connector for SQL Server.

2. Assurez-vous d’avoir consulté Versions du serveur SQL prises en charge.

3. Assurez-vous que vous avez paramétré Openflow.

4. En tant qu’administrateur de la base de données, effectuez les tâches suivantes :

   1. Activez le suivi des modifications sur la base de données et les tables https://learn.microsoft.com/en-us/sql/relational-databases/track-changes/enable-and-disable-change-tracking-sql-server?view=sql-server-ver16#enable-change-tracking-for-a-table. Le connecteur exige que le suivi des modifications soit activé sur la base de données et les tables avant le début de la réplication. Assurez-vous que chaque table que vous prévoyez de répliquer a activé le suivi des modifications. Vous pouvez également activer le suivi des modifications pour d’autres tables lorsque le connecteur est en cours d’exécution. Voir l’extrait de code suivant :

      ALTER DATABASE <database>
      SET CHANGE_TRACKING = ON
      (CHANGE_RETENTION = 2 DAYS, AUTO_CLEANUP = ON);
      
      ALTER TABLE <schema>.<table>
      ENABLE CHANGE_TRACKING
      WITH (TRACK_COLUMNS_UPDATED = ON);
      

      Copy

   2. Créez un utilisateur pour le connecteur. Le connecteur requiert un utilisateur bénéficiant de l’autorisation VIEW CHANGE TRACKING sur les tables répliquées. Donnez à cet utilisateur un mot de passe pour accéder à la configuration du connecteur.

      CREATE LOGIN <user_name> WITH PASSWORD = <password>;
      CREATE USER <user_name> FOR LOGIN <user_name>;
      GRANT SELECT ON <schema>.<table> TO <user_name>;
      GRANT VIEW CHANGE TRACKING ON <schema>.<table> TO <user_name>;
      

      Copy

   3. Connexion via SSL. Si vous planifiez d’utiliser une connexion SSL avec le serveur SQL, préparez le certificat racine de votre serveur de base de données. Elle est exigée lors de la configuration.

5. En tant qu’administrateur de compte Snowflake, effectuez les tâches suivantes :

   1. Créez un utilisateur Snowflake avec le type SERVICE. Créez une base de données pour stocker les données répliquées et définissez les privilèges permettant à l’utilisateur de Snowflake de créer des objets dans cette base de données en lui accordant les privilèges USAGE et CREATE SCHEMA.

      CREATE DATABASE <destination_database>;
      CREATE USER <openflow_user> TYPE=SERVICE COMMENT='Service user for automated access of Openflow';
      CREATE ROLE <openflow_role>;
      GRANT ROLE <openflow_role> TO USER <openflow_user>;
      GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>;
      GRANT CREATE SCHEMA ON DATABASE <destination_database> TO ROLE <openflow_role>;
      CREATE WAREHOUSE <openflow_warehouse>
           WITH
               WAREHOUSE_SIZE = 'MEDIUM'
               AUTO_SUSPEND = 300
               AUTO_RESUME = TRUE;
      GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
      

      Copy

   2. Créez une paire de clés sécurisées (publique et privée). Stockez la clé privée de l’utilisateur dans un fichier à fournir à la configuration du connecteur. Attribuez la clé publique à l’utilisateur du service Snowflake :

      ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
      

      Copy

      Pour plus d’informations, voir Authentification par paire de clés et rotation de paires de clés.

   3. Désignez un entrepôt à utiliser par le connecteur. Commencez par la taille d’entrepôt MEDIUM, puis faites des essais en fonction du nombre de tables répliquées et de la quantité de données transférées. Les tables de grande taille s’adaptent généralement mieux aux entrepôts multi-clusters, plutôt qu’à la taille de l’entrepôt.

Définir le connecteur¶

En tant qu’ingénieur des données, effectuez les tâches suivantes pour configurer le connecteur :

[
    {
        "schema": "<source table schema>",
        "table" : "<source table name>",
        "included": ["<column name>", "<column name>"],
        "excluded": ["<column name>", "<column name>"],
        "includedPattern": "<regular expression>",
        "excludedPattern": "<regular expression>",
    }
]

Exécutez le flux¶

1. Cliquez avec le bouton droit de la souris sur l’avion et sélectionnez Enable all Controller Services.

2. Cliquez avec le bouton droit de la souris sur le groupe de processus importé et sélectionnez Start. Le connecteur démarre l’ingestion des données.