Notas de lançamento de Snowflake Connector for Kafka para 2023

Este artigo contém as notas de versão do Snowflake Connector for Kafka, incluindo o seguinte, quando aplicável:

  • Mudanças de comportamento

  • Novos recursos

  • Correções de bugs voltados para o cliente

Snowflake usa controle de versão semântico para atualizações de Snowflake Connector for Kafka.

Versão 2.1.2 (04 de dezembro de 2023)

Novos recursos e atualizações

  • Métricas de Java Management Extensions (JMX) ativadas para Snowpipe Streaming.

  • Ingestão de exclusão habilitada para Snowpipe Streaming.

  • Snowflake OAuth habilitado para conector Kafka com Snowpipe Streaming.

  • Colunas de esquematização habilitadas com palavras-chave especiais ou reservadas.

Correções de bugs

  • Corrigido um problema em que a opção de configuração de um cliente não estava habilitada por padrão. A opção de configuração de um cliente enable.streaming.client.optimization agora é TRUE por padrão.

  • Corrigido um problema com a nomenclatura do canal.

Versão 2.0.1 (25 de agosto de 2023)

Novos recursos e atualizações

  • Desempenho aprimorado para verificações de permissão de esquematização durante o rebalanceamento.

Correções de bugs

  • Corrigido um bug que causava a falta de dados nas tabelas devido a problemas com a limpeza do cache interno durante o rebalanceamento.

Versão 2.0.0 (31 de julho de 2023)

Novos recursos e atualizações

  • Snowpipe Streaming com conector Kafka agora está com disponibilidade geral.

Correções de bugs

  • Nenhum.

Versão 1.9.4 (13 de julho de 2023)

Novos recursos e atualizações

  • Configuração de um cliente:

    • Introduzida a opção enable.streaming.client.optimization, que está ativada por padrão.

    • Com esta otimização de cliente, apenas um cliente é criado para diversas partições de tópico por conector Kafka. Esse recurso pode reduzir o tempo de execução do cliente e diminuir o custo de migração criando arquivos maiores.

    • Observe que em um cenário de alto rendimento (por exemplo, 50 MB/s por conector), recomendamos que você desative essa propriedade se observar um aumento na latência ou nos custos.

  • Permissões e segurança:

    • Função e usuário unificado do Snowflake para Snowpipe Streaming para criação e inserção de tabelas.

    • Dependência do guava atualizada para 32.0.1.

    • Dependência do SDK do Snowpipe Streaming atualizada para 2.0.1.

Correções de bugs

  • Corrigido um problema de resultado errado em que os deslocamentos eram ignorados quando a esquematização estava ativada.

  • Os canais do Snowpipe Streaming não são fechados no reequilíbrio.

Versão 1.9.3 (22 de maio de 2023)

Novos recursos e atualizações

  • Adicionada a capacidade de usar um cliente Streaming Ingest (padrão como falso).

  • Começou a usar o registrador de contexto MDC.

  • Atualizado para as seguintes versões:

    • Ingest SDK versão 1.1.4

    • Versão JDBC 3.13.30

Correções de bugs

  • Corrigido um problema relacionado ao uso do comando GET ao usar o token reduzido em GCP.

  • Corrigido o comportamento de offset de confirmação do KC baseado em Snowpipe.

Linguagem: Português