Paramétrez Openflow Connector for SQL Server¶

Conditions préalables¶

Avant de configurer le connecteur, assurez-vous d’avoir rempli les conditions préalables suivantes :

1. Assurez-vous d’avoir consulté À propos de Openflow Connector for SQL Server.

2. Assurez-vous d’avoir consulté Versions du serveur SQL prises en charge.

3. Assurez-vous d’avoir configuré votre déploiement d’exécution. Pour plus d’informations, consultez les rubriques suivantes :

   • Configuration d’Openflow - BYOC

   • Set up Openflow - Snowflake Deployments.

4. If you use Openflow - Snowflake Deployments, ensure that you have reviewed configuring required domains and have granted access to the required domains for the SQL Server connector.

Set up your SQL Server instance¶

Avant de configurer le connecteur, effectuez les tâches suivantes dans votre environnement SQL Server :

1. Enable change tracking on the databases and tables that you plan to replicate, as shown in the following SQL Server example:

   ALTER DATABASE <database>
     SET CHANGE_TRACKING = ON
     (CHANGE_RETENTION = 2 DAYS, AUTO_CLEANUP = ON);
   
   ALTER TABLE <schema>.<table>
     ENABLE CHANGE_TRACKING
     WITH (TRACK_COLUMNS_UPDATED = ON);
   

   Copy

   Note

   Exécutez ces commandes pour chaque base de données et chaque table que vous prévoyez de répliquer.

   Le connecteur exige que le suivi des modifications soit activé sur les bases de données et les tables avant le début de la réplication. Assurez-vous que le suivi des modifications est activé pour chaque table que vous prévoyez de répliquer. Vous pouvez également activer le suivi des modifications pour d’autres tables lorsque le connecteur est en cours d’exécution.

2. Créez une connexion pour l’instance SQL Server :

   CREATE LOGIN <user_name> WITH PASSWORD = '<password>';
   

   Copy

   Cette connexion est utilisée pour créer des utilisateurs pour les bases de données que vous prévoyez de répliquer.

3. Créez un utilisateur pour chaque base de données que vous répliquez en exécutant la commande SQL Server suivante dans chaque base de données :

   USE <source_database>;
   CREATE USER <user_name> FOR LOGIN <user_name>;
   

   Copy

4. Accordez les autorisations SELECT et VIEW CHANGE TRACKING à l’utilisateur pour chaque base de données que vous répliquez :

   GRANT SELECT ON <database>.<schema>.<table> TO <user_name>;
   GRANT VIEW CHANGE TRACKING ON <database>.<schema>.<table> TO <user_name>;
   

   Copy

   Exécutez ces commandes dans chaque base de données pour chaque table que vous prévoyez de répliquer. Ces autorisations doivent être accordées à l’utilisateur de chaque base de données que vous avez créée précédemment.

5. (Optional) Configure SSL connection.

   If you use an SSL connection to connect SQL Server, create the root certificate for your database server. This is required when configuring the connector.

Configurer votre environnement Snowflake¶

As a Snowflake administrator, perform the following tasks:

1. Créez une base de données de destination dans Snowflake pour stocker les données répliquées :

   CREATE DATABASE <destination_database>;
   

   Copy

2. Créez un utilisateur de service Snowflake :

   CREATE USER <openflow_user>
     TYPE = SERVICE
     COMMENT='Service user for automated access of Openflow';
   

   Copy

3. Créez un rôle Snowflake pour le connecteur et accordez-lui les privilèges requis :

   CREATE ROLE <openflow_role>;
   GRANT ROLE <openflow_role> TO USER <openflow_user>;
   GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>;
   GRANT CREATE SCHEMA ON DATABASE <destination_database> TO ROLE <openflow_role>;
   

   Copy

   Utilisez ce rôle pour gérer l’accès du connecteur à la base de données Snowflake.

   Pour créer des objets dans la base de données de destination, vous devez accorder les privilèges USAGE et CREATE SCHEMA sur la base de données au rôle utilisé pour gérer l’accès.

4. Créez un entrepôt Snowflake pour le connecteur et accordez-lui les privilèges requis :

   CREATE WAREHOUSE <openflow_warehouse> WITH
     WAREHOUSE_SIZE = 'MEDIUM'
     AUTO_SUSPEND = 300
     AUTO_RESUME = TRUE;
   GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
   

   Copy

   Snowflake recommends starting with a MEDIUM warehouse size, then experimenting with size depending on the number of tables being replicated and the amount of data transferred. Large numbers of tables typically scale better with multi-cluster warehouses, rather than a larger warehouse size. For more information, see multi-cluster warehouses.

5. Set up the public and private keys for key pair authentication:

   1. Créez une paire de clés sécurisées (publique et privée).

   2. Store the private key for the user in a file to supply to the connector’s configuration.

   3. Attribuez la clé publique à l’utilisateur du service Snowflake :

      ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
      

      Copy

      Pour plus d’informations, voir Authentification par paire de clés et rotation de paires de clés.

Configuration du connecteur¶

As a data engineer, install and configure the connector using the following sections.

Installer le connecteur¶

1. Navigate to the Openflow overview page. In the Featured connectors section, select View more connectors.

2. Sur la page des connecteurs Openflow, trouvez le connecteur et sélectionnez Add to runtime.

3. In the Select runtime dialog, select your runtime from the Available runtimes drop-down list and click Add.

   Note

   Avant d’installer le connecteur, assurez-vous que vous avez créé une base de données et un schéma dans Snowflake pour que le connecteur puisse stocker les données ingérées.

4. Authentifiez-vous au déploiement avec les identifiants de votre compte Snowflake et sélectionnez Allow lorsque vous êtes invité à autoriser l’application d’exécution à accéder à votre compte Snowflake. Le processus d’installation du connecteur prend quelques minutes.

5. Authentifiez-vous auprès de l’environnement d’exécution avec les identifiants de votre compte Snowflake.

Le canevas Openflow apparaît avec le groupe de processus du connecteur ajouté.

Configuration du connecteur¶

To configure the connector, perform the following steps:

1. Cliquez avec le bouton droit de la souris sur le groupe de processus importé et sélectionnez Parameters.

2. Populate the required parameter values as described in Paramètres de débit.

Supprimez et ajoutez à nouveau une table à la réplication¶

To remove a table from replication, remove it from the Included Table Names or Included Table Regex parameters in the Replication Parameters context.

To re-add the table to replication later, first delete the corresponding destination table in Snowflake. Afterward, add the table back to the Included Table Names or Included Table Regex parameters. This ensures that the replication process starts fresh for the table.

Cette approche peut également être utilisée pour récupérer un scénario de réplication de table qui a échoué.

[
    {
        "schema": "<source table schema>",
        "table" : "<source table name>",
        "included": ["<column name>", "<column name>"],
        "excluded": ["<column name>", "<column name>"],
        "includedPattern": "<regular expression>",
        "excludedPattern": "<regular expression>",
    }
]

customers_1234_1
customers_1234_2
orders_5678_1
orders_5678_2

Exécutez le flux¶

1. Cliquez avec le bouton droit de la souris sur l’avion et sélectionnez Enable all Controller Services.

2. Cliquez avec le bouton droit de la souris sur le groupe de processus importé et sélectionnez Start. Le connecteur démarre l’ingestion des données.