20 avril 2026 : version 4.0 de Snowflake Connector for Kafka (Mise à disposition générale)

La version 4.0 de Snowflake Connector for Kafka est désormais disponible de manière générale. La version 4.0 est une réécriture complète basée sur l’architecture hautes performances de Snowpipe Streaming, offrant un débit jusqu’à 10 GB/s par table, avec 5 à 10 secondes de latence de bout en bout, ainsi qu’une sémantique de livraison ordonnée et unique.

Capacités clés dans la version GA :

  • Tarifs forfaitaires basés sur le débit en fonction du volume de données ingérées (GB).

  • Validation côté serveur et évolution du schéma via les objets PIPE, réduction de l’utilisation des ressources du connecteur et alignement avec le comportement COPY et Snowpipe.

  • Transformations en cours à l’aide de la syntaxe de la commande COPY au sein des objets PIPE définis par l’utilisateur.

  • Pré-clustering pendant l’ingestion lorsque la table cible a des clés de clustering définies.

  • Tables d’erreur pour capturer et inspecter les enregistrements non valides avec validation côté serveur.

  • File d’attente de lettres mortes (DLQ) prise en charge pour les erreurs de validation du convertisseur et côté client.

  • Ingestion de tables Iceberg (détection automatique, aucune configuration particulière requise).

Fonctionnalités de migration et de compatibilité pour la mise à niveau à partir de la version 3.x :

  • Migration transparente en mode Snowpipe et en mode Snowpipe Streaming, sans espaces ni doublons, lorsqu’elles sont configurées correctement.

  • Validateur de compatibilité (snowflake.streaming.validate.compatibility.with.classic) qui vérifie votre configuration au démarrage et vous guide à travers les paramètres requis.

  • Migration de décalage à partir des canaux de la version 3.x de Snowpipe Streaming (snowflake.streaming.classic.offset.migration).

  • indicateurs de compatibilité pour le nettoyage des noms de tables, la normalisation des identificateurs de colonnes et la schématisation afin de reproduire le comportement de la version 3.x lors de la migration.

  • Prise en charge de la rétrogradation vers la version 3.x avec des conseils de déduplication à l’aide de RECORD_METADATA.

Pour plus d’informations, voir Snowflake Connector for Kafka. Pour obtenir des conseils sur la migration, consultez Migrer du connecteur Kafka v3 vers v4.