20 de abril de 2026: Snowflake Connector for Kafka versão 4.0 (disponibilidade geral)

O Snowflake Connector for Kafka versão 4.0 agora está em disponibilidade geral. A versão 4.0 é uma reformulação do zero com base na arquitetura de alto desempenho do Snowpipe Streaming da Snowflake, que oferece uma taxa de transferência de até 10 GB/s por tabela com latência total de 5 a 10 segundos e semântica de entrega ordenada e exatamente uma vez.

Principais recursos da versão GA:

  • Precificação fixa baseada em taxa de transferência de acordo com o volume de dados ingeridos (GB).

  • Validação do lado do servidor e evolução de esquema por meio de objetos PIPE, o que reduz o uso de recursos do conector e se alinha ao comportamento de COPY e do Snowpipe.

  • Transformações em andamento usando a sintaxe de comando COPY em objetos PIPE definidos pelo usuário.

  • Pré-clustering durante a ingestão quando a tabela de destino tem chaves de clustering definidas.

  • Tabelas de erros para capturar e inspecionar registros inválidos com validação do lado do servidor.

  • Suporte para fila de mensagens inativas (Dead Letter Queue, DLQ) para erros de conversão e de validação do lado do cliente.

  • Ingestão de tabelas Iceberg (detecção automática, sem necessidade de configuração especial).

Recursos de migração e compatibilidade para atualização da versão 3.x:

  • Migração contínua dos modos Snowpipe e Snowpipe Streaming sem lacunas ou duplicatas quando configurada corretamente.

  • Validador de compatibilidade (snowflake.streaming.validate.compatibility.with.classic) que verifica sua configuração na inicialização e orienta você nas configurações necessárias.

  • Migração de deslocamento dos canais do Snowpipe Streaming da versão 3.x (snowflake.streaming.classic.offset.migration).

  • Sinalizadores de compatibilidade para sanitização de nomes de tabela, normalização de identificadores de coluna e esquematização para reproduzir o comportamento da versão 3.x durante a migração.

  • Suporte a downgrade para a versão 3.x com orientação de desduplicação usando RECORD_METADATA.

Para obter mais informações, consulte Snowflake Connector for Kafka. Para obter orientação sobre migração, consulte Migrar do conector Kafka v3 para v4.