Configure o Openflow Connector for Snowflake to Kafka¶

Pré-requisitos¶

1. Certifique-se de ter revisado Sobre a Openflow Connector for Snowflake to Kafka.

2. Certifique-se de ter configurado o Openflow.

3. Crie um fluxo Snowflake que será consultado para obter as alterações.

4. Crie um tópico Kafka que receberá mensagens de CDC do fluxo Snowflake.

Configure a conta Snowflake¶

Como administrador de conta Snowflake, execute as seguintes tarefas:

1. Crie o banco de dados, a tabela de origem e o objeto de fluxo que o conector usará para ler os eventos de CDC. Por exemplo:

   create database stream_db;
   use database stream_db;
   create table stream_source (user_id varchar, data varchar);
   create stream stream_on_table on table stream_source;
   

   Copy

2. Crie uma nova função ou use uma função existente e conceda o privilégio SELECT no fluxo e no objeto de origem do fluxo. O conector também precisará do privilégio USAGE no banco de dados e no esquema que contém o fluxo e o objeto de origem do fluxo. Por exemplo:

   create role stream_reader;
   grant usage on database stream_db to role stream_reader;
   grant usage on schema stream_db.public to role stream_reader;
   grant select on stream_source to role stream_reader;
   grant select on stream_on_table to role stream_reader;
   

   Copy

3. Crie um novo usuário de serviço Snowflake com o tipo SERVICE. Por exemplo:

   create user stream_user type = service;
   

   Copy

4. Conceda ao usuário do serviço Snowflake a função que você criou nas etapas anteriores. Por exemplo:

   grant role stream_reader to user stream_user;
   

   Copy

5. Configure com autenticação por pares de chaves para o usuário Snowflake SERVICE a partir da etapa 3.

6. A Snowflake recomenda enfaticamente essa etapa. Configure um gerenciador de segredos compatível com o Openflow, por exemplo, AWS, Azure e Hashicorp, e armazene as chaves públicas e privadas no armazenamento de segredos. No entanto, observe que a chave privada gerada na etapa 4 pode ser usada diretamente como um parâmetro de configuração para a configuração do conector. Nesse caso, a chave privada é armazenada na configuração de tempo de execução do Openflow.

   Nota

   Se, por algum motivo, você não quiser usar um gerenciador de segredos, será responsável por proteger os arquivos de chave pública e chave privada usados para autenticação de pares de chaves de acordo com as políticas de segurança de sua organização.

   1. Depois que o gerenciador de segredos estiver configurado, determine como você se autenticará nele. No AWS, é recomendável que você use a função de instância EC2 associada ao Openflow, pois dessa forma nenhum outro segredo precisa ser mantido.

   2. No Openflow, configure um provedor de parâmetros associado a esse gerenciador de segredos, no menu de três traços no canto superior direito. Navegue até Controller Settings » Parameter Provider e, em seguida, busque os valores dos parâmetros.

   3. Nesse momento, todas as credenciais podem ser referenciadas com os caminhos de parâmetros associados e nenhum valor sensível precisa ser mantido no Openflow.

7. Designar um warehouse para o conector usar. Um conector pode replicar uma única tabela para um único tópico Kafka. Para esse tipo de processamento, você pode selecionar o menor warehouse.

Configuração do conector¶

Como engenheiro de dados, execute as seguintes tarefas para instalar e configurar um conector:

1. Navegue até a página Visão geral do Openflow. Na seção Featured connectors, selecione View more connectors.

2. Na página de conectores do Openflow, localize e escolha o conector, dependendo do tipo de instância do agente Kafka com a qual o conector deve se comunicar.

   • Versão de mTLS: escolha esse conector se estiver usando o protocolo de segurança SSL (TLS mútuo) ou se estiver usando o protocolo SASL_SSL e se conectando ao corretor que usa certificados autoassinados.

   • Versão de SASL: escolha esse conector se você estiver usando qualquer outro protocolo de segurança

3. Selecione Add to runtime.

4. Na caixa de diálogo Select runtime, selecione seu tempo de execução na lista suspensa Available runtimes.

5. Selecione Add.

6. Autentique-se na implementação com as credenciais de sua conta Snowflake e selecione Allow quando solicitado para permitir que o aplicativo de tempo de execução acesse sua conta Snowflake. O processo de instalação do conector leva alguns minutos para ser concluído.

7. Autentique-se no tempo de execução com as credenciais de sua conta Snowflake.

   A tela do Openflow é exibida com o grupo de processos do conector adicionado a ela.

8. Clique com o botão direito do mouse no grupo de processos importado e selecione Parameters.

9. Preencha os valores dos parâmetros necessários conforme descrito em Parâmetros de fluxo.

Execute o fluxo¶

1. Clique com o botão direito do mouse no plano e selecione Enable all Controller Services.

2. Clique com o botão direito do mouse no grupo de processos importado e selecione Start. O conector inicia a ingestão de dados.