Notas de lançamento de Snowflake Connector for Kafka para 2024¶

Este artigo contém as notas de versão do Snowflake Connector for Kafka, incluindo o seguinte, quando aplicável:

Mudanças de comportamento
Novos recursos
Correções de bugs voltados para o cliente

Snowflake usa controle de versão semântico para atualizações de Snowflake Connector for Kafka.

Consulte Conector Snowflake para Kafka para ver a documentação.

Versão 2.4.1 (19 de setembro de 2024)¶

Novos recursos e atualizações¶

Atualização do Snowflake Ingest Java SDK para a versão 2.2.2.

Correções de bugs¶

Correção de problemas com a esquematização.

Versão 2.4.0 (15 de agosto de 2024)¶

Novos recursos e atualizações¶

Atualização do Snowflake Ingest Java SDK para a versão 2.2.0, que contém uma correção crítica para possíveis problemas quando change_tracking está habilitado para fluxos e tabelas dinâmicas.
Atualização do driver Snowflake JDBC da versão 3.14.5 para a versão 3.18.0.
Melhoria da experiência de registro em log em vários componentes para melhorar a experiência de solução de problemas.
Melhoria da lógica de reabertura do canal.

Nota

Para todos os usos do Snowpipe Streaming, a Snowflake recomenda usar o conector Kafka versão 2.4.0 ou posterior.

Correções de bugs¶

Dependências atualizadas com vulnerabilidades conhecidas.

Versão 2.3.0 (10 de julho de 2024)¶

Novos recursos e atualizações¶

Adição do suporte para fechar canais do Snowpipe Streaming em paralelo, o que reduz significativamente o tempo de rebalanceamento.
Adição de uma nova propriedade SnowflakeConnectorPushTime nos metadados que representa o momento em que a mensagem foi enviada pelo conector.

Correções de bugs¶

Dependências atualizadas com vulnerabilidades conhecidas.

Versão 2.2.2 (07 de maio de 2024)¶

Correções de bugs¶

Corrigido um problema em que os arquivos preparados não eram limpos corretamente.

Versão 2.2.1 (15 de março de 2024)¶

Novos recursos e atualizações¶

Adicionada lógica de verificação de offset para garantir que não haja dados ausentes ou duplicados.
Adicionado mapa substituído pelo provedor de cliente para Snowpipe Streaming. O mapa usa pares chave-valor separados por vírgula como entrada.
Atualizado para as seguintes versões:
- Versão JDBC para 3.14.5.
- versão do kafka connect-api para 3.7.0.
- jackson-core e jackson-databind para 2.16.1
- commons-compress para 1.26.0

Correções de bugs¶

Limpeza dos threads de ingestão de streaming quando SinkTask stop () é chamado.

Versão 2.2.0 (06 de fevereiro de 2024)¶

Mudanças de BCR (versão da mudança de comportamento)¶

Preservado o tipo de dados antigo que vai para uma coluna ARRAY para esquematização.

Novos recursos e atualizações¶

Adicionado suporte para tipos lógicos AVRO.
Mudanças implementadas para evitar possível duplicação de dados devido a um novo formato de nome de canal.
Mudanças implementadas para preservar o tipo de dados antigo que vai para uma coluna ARRAY para esquematização.
Mudanças implementadas para tornar a evolução do esquema adicionar colunas idempotentes.
Habilitou a configuração do Ingest SDK MAX_CLIENT_LAG no conector Kafka.

Correções de bugs¶

Foram corrigidos casos de evolução de esquema que poderiam causar entrega não exatamente única.
Corrigidos problemas com a geração e construção da biblioteca Java.
Corrigido um problema em que o offset do Kafka não era redefinido corretamente.