Notes de version de Snowflake Connector for Kafka pour 2023¶

Activation des métriques Java Management Extensions (JMX) pour Snowpipe Streaming.

Activation de l’ingestion tombstone pour Snowpipe Streaming.

Activation d’OAuth Snowflake pour le connecteur Kafka avec Snowpipe Streaming.

Activation des colonnes de schématisation avec des mots-clés spéciaux ou réservés.

Correction d’un problème lié au fait que l’option de configuration monoclient n’est pas activée par défaut. L’option de configuration monoclient enable.streaming.client.optimization est maintenant TRUE par défaut.

Correction d’un problème de nommage de canal.

Amélioration des performances des contrôles des autorisations de schématisation lors du rééquilibrage.

Correction d’un bogue qui entraînait l’absence de données dans les tables en raison de problèmes liés à l’effacement du cache interne lors du rééquilibrage.

Snowpipe Streaming avec le connecteur Kafka est maintenant disponible de manière générale.

Aucun.

Configuration monoclient :

• Introduction de l’option enable.streaming.client.optimization qui est activée par défaut.

• Avec cette optimisation du client, un seul client est créé pour plusieurs partitions de sujets par connecteur Kafka. Cette fonction permet de réduire la durée d’exécution du client et de diminuer le coût de la migration en créant des fichiers plus volumineux.

• Notez que dans un scénario de débit élevé (par exemple, 50 MB/s par connecteur), nous vous recommandons de désactiver cette propriété si vous constatez une augmentation de la latence ou des coûts.

Permissions et sécurité :

• Rôle et utilisateur Snowflake unifiés pour Snowpipe Streaming pour la création et l’insertion de tables.

• Mise à niveau de la dépendance guava vers la version 32.0.1.

• Mise à niveau de la dépendance du SDK Snowpipe Streaming vers la version 2.0.1.

Correction d’un problème de résultat erroné : les décalages sont ignorés lorsque la schématisation est activée.

Les canaux de streaming Snowpipe ne sont pas fermés lors du rééquilibrage.

Ajout de la possibilité d’utiliser un seul client Streaming Ingest (par défaut : false).

L’utilisation de l’enregistreur de contexte MDC a commencé.

Mise à niveau vers les versions suivantes :

• SDK Ingest version 1.1.4

• Version JDBC 3.13.30

Correction d’un problème lié à l’utilisation de la commande GET lors de l’utilisation du jeton restreint (downscoped) sur GCP.

Correction d’un comportement de décalage d’engagement de KC basé sur Snowpipe.