Notes de version de Snowflake Connector for Kafka pour 2024¶

Mise à niveau du SDK Snowflake Ingest Java vers la version 2.2.2.

Problèmes résolus avec la schématisation.

Mise à niveau du SDK Snowflake Ingest Java vers la version 2.2.0, qui contient un correctif critique pour les problèmes potentiels lorsque change_tracking est activé pour les flux et les tables dynamiques.

Mise à niveau du pilote JDBC Snowflake de la version 3.14.5 à la version 3.18.0.

Amélioration de l’expérience de journalisation dans divers composants pour une meilleure expérience de dépannage.

Amélioration de la logique de réouverture du canal.

Dépendances mises à jour avec des vulnérabilités connues.

Ajout de la prise en charge de la fermeture des canaux de Snowpipe Streaming, ce qui réduit considérablement le temps de rééquilibrage.

Ajout d’une nouvelle propriété SnowflakeConnectorPushTime dans les métadonnées qui représente le moment où le message a été envoyé par le connecteur.

Dépendances mises à jour avec des vulnérabilités connues.

Correction d’un problème où les fichiers en zone de préparation ne sont pas nettoyés correctement.

Ajout d’une logique de vérification des décalages pour s’assurer qu’il n’y a pas de données manquantes ou dupliquées.

Ajout d’une carte surchargée par le fournisseur du client pour Snowpipe Streaming. La carte utilise comme entrée des paires clé-valeur séparées par des virgules.

Mise à niveau vers les versions suivantes :

• Passage à la version 3.14.5 de JDBC.

• version de kafka connect-api à 3.7.0.

• jackson-core et jackson-databind à 2.16.1

• commons-compress à 1.26.0

Nettoyage des threads d’ingestion de flux lorsque SinkTask stop () est appelé.

Préservation de l’ancien type de données qui va dans une colonne ARRAY pour la schématisation.

Ajout de la prise en charge des types logiques AVRO.

Mise en œuvre de changements visant à éviter la duplication potentielle des données en raison d’un nouveau format de nom de canal.

Des modifications ont été apportées pour préserver l’ancien type de données qui va dans une colonne ARRAY pour la schématisation.

Mise en œuvre de modifications visant à rendre idempotentes les colonnes ajoutées par l’évolution des schémas.

Activation de la configuration Ingest SDK MAX_CLIENT_LAG dans le connecteur Kafka.

Correction des cas d’évolution des schémas qui pouvaient entraîner une livraison non exacte une fois.

Correction des problèmes liés à la génération et à la construction de la bibliothèque Java.

Correction d’un problème qui fait que le décalage Kafka n’est pas réinitialisé correctement.