Nota

O conector está sujeito aos Termos do conector Snowflake.

Snowflake Openflow Connector para Kafka

Este tópico descreve os conceitos básicos do Openflow Connector para Kafka e suas limitações.

O Openflow Connector para Kafka lê os dados de tópicos Kafka e os grava em tabelas do Snowflake usando a arquitetura de alto desempenho do Snowpipe Streaming.

Use esse conector se quiser fazer o seguinte:

  • Ingerir eventos em tempo real do Apache Kafka no Snowflake para análises de dados quase em tempo real

  • Ingerir eventos em tempo real do Apache Kafka em tabelas Iceberg™ gerenciadas pelo Snowflake

  • Acelerar ainda mais a ingestão combinando a velocidade do Openflow com o recurso de tabelas interativas

  • Executar Single Message Transforms para enriquecimento ou filtragem de dados antes que os dados cheguem ao Snowflake

Limitações

  • O conector não oferece suporte à evolução de esquema para tabelas Apache Iceberg™.

  • O dimensionamento automático é incompatível. O número de nós mínimo e máximo do tempo de execução do Openflow deve ser constante para o tempo de execução em que o Openflow Connector para Kafka foi implantado.

  • O cluster Kafka deve executar a versão 0.10.0.0 ou mais recente. Versões anteriores do Kafka são incompatíveis.

Usando diferentes opções de autenticação, tipos de dados ou manipulação de dados

O conector está configurado para funcionar com o tipo de dados JSON e o método de autenticação SASL_SSL. O conector pode ser modificado e estendido de várias maneiras. Consulte as subpáginas dedicadas na seção de configuração para obter orientação de como fazer as alterações necessárias.

Tipos de dados compatíveis

O Openflow Connector para Kafka é compatível com os seguintes tipos de dados:

  • JSON (disponível por padrão no conector)

  • Avro (configuração extra necessária)

  • Protobuf (configuração extra necessária)

Métodos de autenticação compatíveis

O Openflow Connector para Kafka é compatível com os seguintes mecanismos de autenticação:

  • SASL com os seguintes mecanismos SASL:

    • PLAIN

    • SCRAM-SHA-256

    • SCRAM-SHA-512 (disponível por padrão no conector)

    • OAUTHBEARER

  • SASL com AWS MSK IAM (configuração extra necessária pelos serviços de controle)

  • mTLS (configuração extra necessária pelos serviços de controle)

Próximos passos

Configure o Openflow Connector para Kafka