Configure o Openflow Connector for SQL Server¶

Pré-requisitos¶

Antes de configurar o conector, você precisa concluir os seguintes pré-requisitos:

1. Certifique-se de ter revisado Sobre a Openflow Connector for SQL Server.

2. Certifique-se de ter revisado Versões compatíveis do servidor SQL.

3. Certifique-se de ter configurado a implantação do seu tempo de execução. Para obter mais informações, consulte os seguintes tópicos:

   • Configuração do Openflow - BYOC

   • Set up Openflow - Snowflake Deployments.

4. If you use Openflow - Snowflake Deployments, ensure that you have reviewed configuring required domains and have granted access to the required domains for the SQL Server connector.

Set up your SQL Server instance¶

Antes de configurar o conector, execute as seguintes tarefas no ambiente do servidor SQL:

1. Enable change tracking on the databases and tables that you plan to replicate, as shown in the following SQL Server example:

   ALTER DATABASE <database>
     SET CHANGE_TRACKING = ON
     (CHANGE_RETENTION = 2 DAYS, AUTO_CLEANUP = ON);
   
   ALTER TABLE <schema>.<table>
     ENABLE CHANGE_TRACKING
     WITH (TRACK_COLUMNS_UPDATED = ON);
   

   Copy

   Nota

   Execute esses comandos para cada banco de dados e tabela que você planeja replicar.

   O conector exige que o rastreamento de alterações esteja habilitado nos bancos de dados e nas tabelas antes do início da replicação. Certifique-se de que cada tabela que você planeja replicar tenha habilitado o rastreamento de alterações. Você também pode habilitar o rastreamento de alterações em tabelas adicionais enquanto o conector está em execução.

2. Crie um login para a instância do servidor SQL:

   CREATE LOGIN <user_name> WITH PASSWORD = '<password>';
   

   Copy

   Esse login é usado para criar usuários para os bancos de dados que você planeja replicar.

3. Crie um usuário para cada banco de dados que você está replicando executando o seguinte comando do servidor SQL em cada banco de dados:

   USE <source_database>;
   CREATE USER <user_name> FOR LOGIN <user_name>;
   

   Copy

4. Conceda as permissões SELECT e VIEW CHANGE TRACKING ao usuário para cada banco de dados que você está replicando:

   GRANT SELECT ON <database>.<schema>.<table> TO <user_name>;
   GRANT VIEW CHANGE TRACKING ON <database>.<schema>.<table> TO <user_name>;
   

   Copy

   Execute esses comandos em cada banco de dados para cada tabela que você planeja replicar. Essas permissões devem ser concedidas ao usuário de cada banco de dados que você criou em uma etapa anterior.

5. (Optional) Configure SSL connection.

   If you use an SSL connection to connect SQL Server, create the root certificate for your database server. This is required when configuring the connector.

Configure seu ambiente Snowflake¶

As a Snowflake administrator, perform the following tasks:

1. Crie um banco de dados de destino no Snowflake para armazenar os dados replicados:

   CREATE DATABASE <destination_database>;
   

   Copy

2. Crie um usuário de serviço do Snowflake:

   CREATE USER <openflow_user>
     TYPE = SERVICE
     COMMENT='Service user for automated access of Openflow';
   

   Copy

3. Crie uma função do Snowflake para o conector e conceda os privilégios necessários:

   CREATE ROLE <openflow_role>;
   GRANT ROLE <openflow_role> TO USER <openflow_user>;
   GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>;
   GRANT CREATE SCHEMA ON DATABASE <destination_database> TO ROLE <openflow_role>;
   

   Copy

   Use essa função para gerenciar o acesso do conector ao banco de dados Snowflake.

   Para criar objetos no banco de dados de destino, você deve conceder os privilégios USAGE e CREATE SCHEMA no banco de dados para a função usada para gerenciar o acesso.

4. Crie um warehouse Snowflake para o conector e conceda os privilégios necessários:

   CREATE WAREHOUSE <openflow_warehouse> WITH
     WAREHOUSE_SIZE = 'MEDIUM'
     AUTO_SUSPEND = 300
     AUTO_RESUME = TRUE;
   GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
   

   Copy

   Snowflake recommends starting with a MEDIUM warehouse size, then experimenting with size depending on the number of tables being replicated and the amount of data transferred. Large numbers of tables typically scale better with multi-cluster warehouses, rather than a larger warehouse size. For more information, see multi-cluster warehouses.

5. Set up the public and private keys for key pair authentication:

   1. Crie um par de chaves seguras (pública e privada).

   2. Store the private key for the user in a file to supply to the connector’s configuration.

   3. Atribua a chave pública ao usuário do serviço Snowflake:

      ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
      

      Copy

      Para obter mais informações, consulte Autenticação de pares de chaves e rotação de pares de chaves.

Configuração do conector¶

As a data engineer, install and configure the connector using the following sections.

Instalação do conector¶

1. Navigate to the Openflow overview page. In the Featured connectors section, select View more connectors.

2. Na página de conectores do Openflow, localize o conector e selecione Add to runtime.

3. In the Select runtime dialog, select your runtime from the Available runtimes drop-down list and click Add.

   Nota

   Antes de instalar o conector, verifique se você criou um banco de dados e um esquema no Snowflake para que o conector armazene os dados ingeridos.

4. Autentique-se na implementação com as credenciais de sua conta Snowflake e selecione Allow quando solicitado para permitir que o aplicativo de tempo de execução acesse sua conta Snowflake. O processo de instalação do conector leva alguns minutos para ser concluído.

5. Autentique-se no tempo de execução com as credenciais de sua conta Snowflake.

A tela do Openflow é exibida com o grupo de processos do conector adicionado a ela.

Configuração do conector¶

To configure the connector, perform the following steps:

1. Clique com o botão direito do mouse no grupo de processos importado e selecione Parameters.

2. Populate the required parameter values as described in Parâmetros de fluxo.

Remova e adicione novamente uma tabela à replicação¶

To remove a table from replication, remove it from the Included Table Names or Included Table Regex parameters in the Replication Parameters context.

To re-add the table to replication later, first delete the corresponding destination table in Snowflake. Afterward, add the table back to the Included Table Names or Included Table Regex parameters. This ensures that the replication process starts fresh for the table.

Essa abordagem também pode ser usada para se recuperar de um cenário de replicação de tabela com falha.

[
    {
        "schema": "<source table schema>",
        "table" : "<source table name>",
        "included": ["<column name>", "<column name>"],
        "excluded": ["<column name>", "<column name>"],
        "includedPattern": "<regular expression>",
        "excludedPattern": "<regular expression>",
    }
]

customers_1234_1
customers_1234_2
orders_5678_1
orders_5678_2

Execute o fluxo¶

1. Clique com o botão direito do mouse no plano e selecione Enable all Controller Services.

2. Clique com o botão direito do mouse no grupo de processos importado e selecione Start. O conector inicia a ingestão de dados.