Configure o Openflow Connector for SQL Server¶

Pré-requisitos¶

1. Certifique-se de ter revisado Sobre a Openflow Connector for SQL Server.

2. Certifique-se de ter revisado Versões compatíveis do servidor SQL.

3. Certifique-se de ter configurado o Openflow.

4. Como administrador de banco de dados, execute as seguintes tarefas:

   1. Habilite o monitoramento de alterações nos bancos de dados e nas tabelas. O conector exige que o controle de alterações seja ativado no banco de dados e nas tabelas antes do início da replicação. Certifique-se de que todas as tabelas que você planeja replicar tenham ativado o controle de alterações. Você também pode ativar o controle de alterações para mais tabelas enquanto o conector estiver em execução. Veja o trecho de código a seguir:

      ALTER DATABASE <database>
      SET CHANGE_TRACKING = ON
      (CHANGE_RETENTION = 2 DAYS, AUTO_CLEANUP = ON);
      
      ALTER TABLE <schema>.<table>
      ENABLE CHANGE_TRACKING
      WITH (TRACK_COLUMNS_UPDATED = ON);
      

      Copy

   2. Crie um usuário para o conector. O conector requer um usuário com a concessão VIEW CHANGE TRACKING em tabelas replicadas. Dê a esse usuário uma senha para acessar a configuração do conector.

      CREATE LOGIN <user_name> WITH PASSWORD = <password>;
      CREATE USER <user_name> FOR LOGIN <user_name>;
      GRANT SELECT ON <schema>.<table> TO <user_name>;
      GRANT VIEW CHANGE TRACKING ON <schema>.<table> TO <user_name>;
      

      Copy

   3. Conecte-se via SSL. Se estiver planejando usar uma conexão SSL com o servidor SQL, prepare o certificado raiz para o servidor de banco de dados. Ele é necessário durante a configuração.

5. Como administrador de conta Snowflake, execute as seguintes tarefas:

   1. Crie um usuário Snowflake com o tipo SERVICE. Crie um banco de dados para armazenar os dados replicados e configure privilégios para que o usuário Snowflake crie objetos nesse banco de dados, concedendo os privilégios USAGE e CREATE SCHEMA.

      CREATE DATABASE <destination_database>;
      CREATE USER <openflow_user> TYPE=SERVICE COMMENT='Service user for automated access of Openflow';
      CREATE ROLE <openflow_role>;
      GRANT ROLE <openflow_role> TO USER <openflow_user>;
      GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>;
      GRANT CREATE SCHEMA ON DATABASE <destination_database> TO ROLE <openflow_role>;
      CREATE WAREHOUSE <openflow_warehouse>
           WITH
               WAREHOUSE_SIZE = 'MEDIUM'
               AUTO_SUSPEND = 300
               AUTO_RESUME = TRUE;
      GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
      

      Copy

   2. Crie um par de chaves seguras (pública e privada). Armazene a chave privada do usuário em um arquivo para fornecer à configuração do conector. Atribua a chave pública ao usuário do serviço Snowflake:

      ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
      

      Copy

      Para obter mais informações, consulte Autenticação de pares de chaves e rotação de pares de chaves.

   3. Designar um warehouse para o conector usar. Comece com o tamanho do warehouse MEDIUM e, em seguida, experimente o tamanho, dependendo da quantidade de tabelas que estão sendo replicadas e da quantidade de dados transferidos. Os números de tabelas grandes normalmente são mais bem dimensionados com warehouses multicluster, em vez do tamanho do warehouse.

Configuração do conector¶

Como engenheiro de dados, execute as seguintes tarefas para configurar o conector:

[
    {
        "schema": "<source table schema>",
        "table" : "<source table name>",
        "included": ["<column name>", "<column name>"],
        "excluded": ["<column name>", "<column name>"],
        "includedPattern": "<regular expression>",
        "excludedPattern": "<regular expression>",
    }
]

Execute o fluxo¶

1. Clique com o botão direito do mouse no plano e selecione Enable all Controller Services.

2. Clique com o botão direito do mouse no grupo de processos importado e selecione Start. O conector inicia a ingestão de dados.