Openflow Connector para Kafka

Nota

O conector está sujeito aos termos do conector.

Este tópico descreve os conceitos básicos do Openflow Connector para Kafka e suas limitações.

O software Apache Kafka usa um modelo de publicação e assinatura para escrever e gravar fluxos de registros, semelhante a uma fila de mensagens ou sistema de mensagens empresariais. O Kafka permite que os processos leiam e gravem mensagens de forma assíncrona. Um assinante não precisa estar conectado diretamente a um editor. Uma editora pode colocar uma mensagem na fila no Kafka para que o assinante a receba mais tarde.

Um aplicativo publica mensagens em um tópico e um aplicativo se inscreve em um tópico para receber essas mensagens. O Kafka pode processar, assim como transmitir, mensagens. Entretanto, isso está fora do escopo deste documento. Os tópicos podem ser divididos em partições para aumentar a escalabilidade.

O Openflow Connector para Kafka lê dados dos tópicos do Kafka e os grava nas tabelas Snowflake usando o mecanismo Snowpipe Streaming.

Use esse conector se quiser fazer o seguinte:

  • Ingestão de eventos em tempo real do Apache Kafka no Snowflake para análises quase em tempo real

Limitações

  • Se o parâmetro Topic To Table Map não estiver definido:

    • Os nomes das tabelas devem corresponder exatamente ao tópico dos dados que elas contêm.

    • Os nomes das tabelas devem estar em letras maiúsculas.

  • Se o parâmetro Topic To Table Map estiver definido:

    • Os nomes de tabela devem corresponder aos nomes de tabela especificados no mapeamento. Os nomes das tabelas devem ser um identificador válido do Snowflake sem aspas. Para obter mais informações sobre nomes válidos de tabelas, consulte Requisitos para identificadores.

  • Somente os formatos JSON e AVRO são compatíveis.

  • Somente o Confluent Schema Registry é compatível.

  • Os protocolos de segurança PLAINTEXT, SASL_PLAIN, SSL e SASL_SSL são compatíveis.

  • Os mecanismos PLAIN, SCRAM-SHA-256, SCRAM-SHA-512 e AWS_MSK_IAM SASL são compatíveis.

  • Os métodos de autenticação mTLS e AWS MSK IAM exigem configuração adicional por meio de serviços. Consulte Configure outros métodos de autenticação para o Openflow Connector para Kafka para obter mais detalhes.

  • Em caso de falha na inserção de dados em uma tabela, o conector continuará tentando infinitamente.

Mapeamento de nomes de campo e tratamento de caracteres especiais

Ao mapear nomes de campo de mensagens do Kafka para nomes de colunas do Snowflake, o conector aplica as seguintes transformações para garantir a compatibilidade com as convenções de nomenclatura do Snowflake:

  1. Primeiro caractere: o primeiro caractere do nome do campo deve ser uma letra. Se não for uma letra, será alterado para sublinhado.

  2. Outros caracteres: todos os outros caracteres devem ser letras, números ou sublinhados. Quaisquer outros caracteres serão alterados para sublinhados.

Próximos passos

Linguagem: Português