Notes de version de Snowflake Connector for Kafka pour 2023

Cet article contient les notes de version Snowflake Connector for Kafka, y compris les éléments suivants, le cas échéant :

  • Changements de comportement

  • Nouvelles fonctionnalités

  • Corrections de bogues pour les clients

Snowflake utilise la version sémantique pour les mises à jour Snowflake Connector for Kafka.

Version 2.0.1 (25 août 2023)

Nouvelles fonctions et mises à jour

  • Amélioration des performances des contrôles des autorisations de schématisation lors du rééquilibrage.

Corrections de bogues

  • Correction d’un bogue qui entraînait l’absence de données dans les tables en raison de problèmes liés à l’effacement du cache interne lors du rééquilibrage.

Version 2.0.0 (31 juillet 2023)

Nouvelles fonctions et mises à jour

  • Snowpipe Streaming avec le connecteur Kafka est maintenant disponible de manière générale.

Corrections de bogues

  • Aucun.

Version 1.9.4 (13 juillet 2023)

Nouvelles fonctions et mises à jour

  • Configuration monoclient :

    • Introduction de l’option enable.streaming.client.optimization qui est activée par défaut.

    • Avec cette optimisation du client, un seul client est créé pour plusieurs partitions de sujets par connecteur Kafka. Cette fonction permet de réduire la durée d’exécution du client et de diminuer le coût de la migration en créant des fichiers plus volumineux.

    • Notez que dans un scénario de débit élevé (par exemple, 50 MB/s par connecteur), nous vous recommandons de désactiver cette propriété si vous constatez une augmentation de la latence ou des coûts.

  • Permissions et sécurité :

    • Rôle et utilisateur Snowflake unifiés pour Snowpipe Streaming pour la création et l’insertion de tables.

    • Mise à niveau de la dépendance guava vers la version 32.0.1.

    • Mise à niveau de la dépendance du SDK Snowpipe Streaming vers la version 2.0.1.

Corrections de bogues

  • Correction d’un problème de résultat erroné : les décalages sont ignorés lorsque la schématisation est activée.

  • Les canaux de streaming Snowpipe ne sont pas fermés lors du rééquilibrage.

Version 1.9.3 (22 mai 2023)

Nouvelles fonctions et mises à jour

  • Ajout de la possibilité d’utiliser un seul client Streaming Ingest (par défaut : false).

  • L’utilisation de l’enregistreur de contexte MDC a commencé.

  • Mise à niveau vers les versions suivantes :

  • SDK Ingest version 1.1.4

  • Version JDBC 3.13.30

Corrections de bogues

  • Correction d’un problème lié à l’utilisation de la commande GET lorsque GCS_USE_DOWNSCOPED_CREDENTIAL est vrai.

  • Correction du comportement du décalage d’engagement de KC basé sur Snowpipe.