Configure o Openflow Connector para Kafka¶

Pré-requisitos¶

1. Certifique-se de ter revisado Sobre a Openflow Connector for Kafka.

2. Certifique-se de ter seguido as etapas em Configuração do Openflow - BYOC ou Configuração do Openflow - Implantação do Snowflake - Visão geral da tarefa.

Tipos de conectores¶

O Openflow Connector para Kafka está disponível em três configurações diferentes, cada uma otimizada para casos de uso específicos. Você pode baixar essas definições de conector na galeria de conectores:

Apache Kafka para o formato de dados JSON

Conector simplificado para ingestão de mensagens JSON com evolução de esquema e mapeamento de tópico para tabela

Apache Kafka para o formato de dados AVRO

Conector simplificado para ingestão de mensagens AVRO com evolução de esquema e mapeamento de tópico para tabela

Apache Kafka com DLQ e metadados

Conector completo com suporte a fila de mensagens não entregues (DLQ), tratamento de metadados e paridade de recursos com o conector Snowflake para Kafka

Para obter a configuração detalhada de tipos específicos de conectores, consulte:

• Apache Kafka para o formato de dados JSON/AVRO – conectores de formato de dados JSON/AVRO

• Apache Kafka com DLQ e metadados – DLQ e conector de metadados

Configure a conta Snowflake¶

Como administrador de conta Snowflake, execute as seguintes tarefas:

1. Crie um novo usuário de serviço Snowflake com o tipo SERVICE.

2. Crie uma nova função ou use uma função existente e conceda a Privilégios de banco de dados.

   Como o conector tem a capacidade de criar automaticamente a tabela de destino, caso ela ainda não exista, certifique-se de que o usuário tenha os privilégios necessários para criar e gerenciar objetos Snowflake:

   Objeto	Privilégio	Notas
   Banco de dados	USAGE
   Esquema	USAGE . CREATE TABLE .	Após a criação dos objetos de nível de esquema, os privilégios CREATE object podem ser revogados.
   Tabela	OWNERSHIP	Necessário somente ao usar o conector Kafka para ingerir dados em uma tabela existente. . Se o conector criar uma tabela nova de destino para registros do tópico Kafka, a função padrão para o usuário especificado na configuração se tornará o proprietário da tabela.

   A Snowflake recomenda a criação de um usuário e uma função separados para cada instância do Kafka para ter melhor controle de acesso.

   Você pode usar o script a seguir para criar e configurar uma função personalizada (requer SECURITYADMIN ou equivalente):

   USE ROLE securityadmin;
   
   CREATE ROLE kafka_connector_role_1;
   GRANT USAGE ON DATABASE kafka_db TO ROLE kafka_connector_role_1;
   GRANT USAGE ON SCHEMA kafka_schema TO ROLE kafka_connector_role_1;
   GRANT CREATE TABLE ON SCHEMA kafka_schema TO ROLE kafka_connector_role_1;
   
   -- Only for existing tables
   GRANT OWNERSHIP ON TABLE existing_table1 TO ROLE kafka_connector_role_1;
   

   Copy

   Observe que os privilégios devem ser concedidos diretamente à função do conector e não podem ser herdados.

3. Conceda ao usuário do serviço Snowflake a função que você criou nas etapas anteriores.

   A função deve ser atribuída como a função padrão para o usuário:

   GRANT ROLE kafka_connector_role_1 TO USER kafka_connector_user_1;
   ALTER USER kafka_connector_user_1 SET DEFAULT_ROLE = kafka_connector_role_1;
   

   Copy

4. Configure com key-pair auth para o usuário SERVICE do Snowflake da etapa 1.

5. A Snowflake recomenda enfaticamente essa etapa. Configure um gerenciador de segredos compatível com o Openflow, por exemplo, AWS, Azure e Hashicorp, e armazene as chaves públicas e privadas no armazenamento de segredos.

   Nota

   Se, por algum motivo, você não quiser usar um gerenciador de segredos, será responsável por proteger os arquivos de chave pública e chave privada usados para autenticação de pares de chaves de acordo com as políticas de segurança de sua organização.

   1. Depois que o gerenciador de segredos estiver configurado, determine como você se autenticará nele. No AWS, é recomendável que você use a função de instância EC2 associada ao Openflow, pois dessa forma nenhum outro segredo precisa ser mantido.

   2. No Openflow, configurar um provedor de parâmetros associado a este Secrets Manager, a partir do menu de configuração no canto superior direito. Navegue até Controller Settings » Parameter Provider e depois buscar seus valores de parâmetro.

   3. Nesse momento, todas as credenciais podem ser referenciadas com os caminhos de parâmetros associados e nenhum valor sensível precisa ser mantido no Openflow.

6. Se qualquer outro usuário Snowflake precisar de acesso aos documentos e tabelas brutos ingeridos pelo conector (por exemplo, para processamento personalizado no Snowflake), conceda a esses usuários a função criada na etapa 1.

Configuração do conector¶

Como engenheiro de dados, execute as seguintes tarefas para instalar e configurar o conector:

Configure as definições específicas de variante¶

Após configurar os parâmetros comuns, você precisa definir as configurações específicas da variante de conector escolhida:

Para os conectores Apache Kafka para o formato de dados JSON e Apache Kafka para o formato de dados AVRO:

Consulte Apache Kafka para o formato de dados JSON/AVRO para obter parâmetros específicos de JSON/AVRO.

Para Apache Kafka com DLQ e conector de metadados:

Consulte Apache Kafka com DLQ e metadados para obter parâmetros avançados, incluindo a configuração de DLQ, configurações de esquematização, suporte à tabela Iceberg e opções de formato de mensagem.

Autenticação¶

Todas as variantes do conector oferecem suporte à autenticação SASL configurada por meio de contextos de parâmetros, conforme descrito em Parâmetros de origem do Kafka (autenticação SASL).

Para outros métodos de autenticação, incluindo mTLS e AWS MSK IAM, consulte Configure outros métodos de autenticação para o Openflow Connector para Kafka.

Execute o fluxo¶

1. Clique com o botão direito do mouse no plano e clique em Ativar todos os Controller Services.

2. Clique com o botão direito do mouse no plano e clique em Iniciar. O conector inicia a ingestão de dados.