Openflow Connector para Kafka

Nota

O conector está sujeito aos termos do conector.

Este tópico descreve os conceitos básicos do Openflow Connector para Kafka e suas limitações.

O software Apache Kafka usa um modelo de publicação e assinatura para escrever e gravar fluxos de registros, semelhante a uma fila de mensagens ou sistema de mensagens empresariais. O Kafka permite que os processos leiam e gravem mensagens de forma assíncrona. Um assinante não precisa estar conectado diretamente a um editor. Uma editora pode colocar uma mensagem na fila no Kafka para que o assinante a receba mais tarde.

Um aplicativo publica mensagens em um tópico e um aplicativo se inscreve em um tópico para receber essas mensagens. O Kafka pode processar, assim como transmitir, mensagens. Entretanto, isso está fora do escopo deste documento. Os tópicos podem ser divididos em partições para aumentar a escalabilidade.

O Openflow Connector para Kafka lê dados dos tópicos do Kafka e os grava nas tabelas Snowflake usando o mecanismo Snowpipe Streaming.

Use esse conector se quiser fazer o seguinte:

  • Ingestão de eventos em tempo real do Apache Kafka no Snowflake para análises quase em tempo real

Limitações

  • Se o parâmetro Topic To Table Map não estiver definido:

    • Os nomes das tabelas devem corresponder exatamente ao tópico dos dados que elas contêm.

    • Os nomes das tabelas devem estar em letras maiúsculas.

  • Se o parâmetro Topic To Table Map estiver definido:

    • Os nomes de tabela devem corresponder aos nomes de tabela especificados no mapeamento. Os nomes das tabelas devem ser um identificador válido do Snowflake sem aspas. Para obter mais informações sobre nomes válidos de tabelas, consulte Requisitos para identificadores.

  • Somente os formatos JSON e AVRO são compatíveis.

  • Somente o Confluent Schema Registry é compatível.

  • Os protocolos de segurança PLAINTEXT, SASL_PLAIN, SSL e SASL_SSL são compatíveis.

  • Os mecanismos PLAIN, SCRAM-SHA-256, SCRAM-SHA-512 e AWS_MSK_IAM SASL são compatíveis.

  • Os métodos de autenticação mTLS e AWS MSK IAM exigem configuração adicional por meio de serviços. Consulte Configure outros métodos de autenticação para o Openflow Connector para Kafka para obter mais detalhes.

  • Em caso de falha na inserção de dados em uma tabela, o conector continuará tentando infinitamente.

Próximos passos

Linguagem: Português