Configure o Openflow Connector for SQL Server¶

Pré-requisitos¶

Antes de configurar o conector, você precisa concluir os seguintes pré-requisitos:

1. Certifique-se de ter revisado Sobre a Openflow Connector for SQL Server.

2. Certifique-se de ter revisado Versões compatíveis do servidor SQL.

3. Certifique-se de ter configurado a implantação do seu tempo de execução. Para obter mais informações, consulte os seguintes tópicos:

   • Configuração do Openflow - BYOC

   • Configurar o Openflow – Implantações do Snowflake.

4. Se você usa Openflow - Snowflake Deployments, certifique-se de ter revisado a configuração dos domínios necessários e concedido acesso aos domínios necessários para o conector SQL Server.

Configurar a instância do servidor SQL¶

Antes de configurar o conector, execute as seguintes tarefas no ambiente do servidor SQL:

1. Habilite o rastreamento de alterações nos bancos de dados e nas tabelas que você planeja replicar, conforme mostrado no seguinte exemplo de servidor SQL:

   ALTER DATABASE <database>
     SET CHANGE_TRACKING = ON
     (CHANGE_RETENTION = 2 DAYS, AUTO_CLEANUP = ON);
   
   ALTER TABLE <schema>.<table>
     ENABLE CHANGE_TRACKING
     WITH (TRACK_COLUMNS_UPDATED = ON);
   

   Copy

   Nota

   Execute esses comandos para cada banco de dados e tabela que você planeja replicar.

   O conector exige que o rastreamento de alterações esteja habilitado nos bancos de dados e nas tabelas antes do início da replicação. Certifique-se de que cada tabela que você planeja replicar tenha habilitado o rastreamento de alterações. Você também pode habilitar o rastreamento de alterações em tabelas adicionais enquanto o conector está em execução.

2. Crie um login para a instância do servidor SQL:

   CREATE LOGIN <user_name> WITH PASSWORD = '<password>';
   

   Copy

   Esse login é usado para criar usuários para os bancos de dados que você planeja replicar.

3. Crie um usuário para cada banco de dados que você está replicando executando o seguinte comando do servidor SQL em cada banco de dados:

   USE <source_database>;
   CREATE USER <user_name> FOR LOGIN <user_name>;
   

   Copy

4. Conceda as permissões SELECT e VIEW CHANGE TRACKING ao usuário para cada banco de dados que você está replicando:

   GRANT SELECT ON <database>.<schema>.<table> TO <user_name>;
   GRANT VIEW CHANGE TRACKING ON <database>.<schema>.<table> TO <user_name>;
   

   Copy

   Execute esses comandos em cada banco de dados para cada tabela que você planeja replicar. Essas permissões devem ser concedidas ao usuário de cada banco de dados que você criou em uma etapa anterior.

5. (Opcional) Configure a conexão SSL.

   Se você usa uma conexão SSL para conectar o servidor SQL, crie o certificado raiz para o servidor de banco de dados. Isso é necessário ao configurar o conector.

Configure seu ambiente Snowflake¶

Como administrador do Snowflake, execute as seguintes tarefas:

1. Crie um banco de dados de destino no Snowflake para armazenar os dados replicados:

   CREATE DATABASE <destination_database>;
   

   Copy

2. Crie um usuário de serviço do Snowflake:

   CREATE USER <openflow_user>
     TYPE = SERVICE
     COMMENT='Service user for automated access of Openflow';
   

   Copy

3. Crie uma função do Snowflake para o conector e conceda os privilégios necessários:

   CREATE ROLE <openflow_role>;
   GRANT ROLE <openflow_role> TO USER <openflow_user>;
   GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>;
   GRANT CREATE SCHEMA ON DATABASE <destination_database> TO ROLE <openflow_role>;
   

   Copy

   Use essa função para gerenciar o acesso do conector ao banco de dados Snowflake.

   Para criar objetos no banco de dados de destino, você deve conceder os privilégios USAGE e CREATE SCHEMA no banco de dados para a função usada para gerenciar o acesso.

4. Crie um warehouse Snowflake para o conector e conceda os privilégios necessários:

   CREATE WAREHOUSE <openflow_warehouse> WITH
     WAREHOUSE_SIZE = 'XSMALL'
     AUTO_SUSPEND = 300
     AUTO_RESUME = TRUE;
   GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
   

   Copy

   Snowflake recommends starting with a XSMALL warehouse size, then experimenting with size depending on the number of tables being replicated and the amount of data transferred. Large numbers of tables typically scale better with multi-cluster warehouses, rather than a larger warehouse size. For more information, see multi-cluster warehouses.

5. Configure as chaves públicas e privadas para autenticação do par de chaves:

   1. Crie um par de chaves seguras (pública e privada).

   2. Armazene a chave privada do usuário em um arquivo para fornecer à configuração do conector.

   3. Atribua a chave pública ao usuário do serviço Snowflake:

      ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
      

      Copy

      Para obter mais informações, consulte Autenticação de pares de chaves e rotação de pares de chaves.

Configuração do conector¶

Como engenheiro de dados, instale e configure o conector seguindo as seções abaixo.

Instalação do conector¶

1. Navegue até a página de visão geral do Openflow. Na seção Featured connectors, selecione View more connectors.

2. Na página de conectores do Openflow, localize o conector e selecione Add to runtime.

3. Na caixa de diálogo Select runtime, selecione seu tempo de execução na lista suspensa Available runtimes e clique em Add.

   Nota

   Antes de instalar o conector, verifique se você criou um banco de dados e um esquema no Snowflake para que o conector armazene os dados ingeridos.

4. Autentique-se na implementação com as credenciais de sua conta Snowflake e selecione Allow quando solicitado para permitir que o aplicativo de tempo de execução acesse sua conta Snowflake. O processo de instalação do conector leva alguns minutos para ser concluído.

5. Autentique-se no tempo de execução com as credenciais de sua conta Snowflake.

A tela do Openflow é exibida com o grupo de processos do conector adicionado a ela.

Configuração do conector¶

Para configurar o conector, execute as seguintes etapas:

1. Clique com o botão direito do mouse no grupo de processos importado e selecione Parameters.

2. Preencha os valores dos parâmetros necessários conforme descrito em Parâmetros de fluxo.

Remova e adicione novamente uma tabela à replicação¶

Para remover uma tabela da replicação, remova-a dos parâmetros Nomes de tabela inclusos ou Regex de tabela inclusa no contexto de parâmetros de replicação.

Para adicionar novamente a tabela à replicação mais tarde, primeiro exclua a tabela de destino correspondente do Snowflake. Após isso, adicione a tabela novamente aos parâmetros Nomes de tabela inclusos ou Regex de tabela inclusa. Isso garante que o processo de replicação comece do zero para a tabela.

Essa abordagem também pode ser usada para se recuperar de um cenário de replicação de tabela com falha.

[
    {
        "schema": "<source table schema>",
        "table" : "<source table name>",
        "included": ["<column name>", "<column name>"],
        "excluded": ["<column name>", "<column name>"],
        "includedPattern": "<regular expression>",
        "excludedPattern": "<regular expression>",
    }
]

customers_1234_1
customers_1234_2
orders_5678_1
orders_5678_2

Execute o fluxo¶

1. Clique com o botão direito do mouse no plano e selecione Enable all Controller Services.

2. Clique com o botão direito do mouse no grupo de processos importado e selecione Start. O conector inicia a ingestão de dados.