Snowflake Connector for Kafka-Versionshinweise 2023

Dieser Artikel enthält die Versionshinweise für Snowflake Connector for Kafka, einschließlich der folgenden, sofern zutreffend:

  • Verhaltensänderungen

  • Neue Features

  • Fehlerkorrekturen für Kunden

Snowflake verwendet semantische Versionierung für Snowflake Connector for Kafka-Aktualisierungen.

Version 2.0.1 (25. August 2023)

Neue Features und Aktualisierungen

  • Verbesserte Verarbeitungsleistung bei der Prüfung von Schematisierungsberechtigungen beim Rebalancing.

Fehlerkorrekturen

  • Fehler behoben, der zu fehlenden Daten in Tabellen aufgrund von Problemen mit dem internen Cache-Clearing während des Rebalancings führte.

Version 2.0.0 (31. Juli 2023)

Neue Features und Aktualisierungen

  • Snowpipe Streaming mit Kafka-Konnektor ist jetzt allgemein verfügbar.

Fehlerkorrekturen

  • Keine.

Version 1.9.4 (13. Juli 2023)

Neue Features und Aktualisierungen

  • Eine Clientkonfiguration:

    • Die Option enable.streaming.client.optimization wurde eingeführt, die standardmäßig aktiviert ist.

    • Mit dieser Clientoptimierung wird pro Kafka-Konnektor nur ein Client für mehrere Themenpartitionen erstellt. Dieses Feature kann die Laufzeit des Clients verkürzen und die Migrationskosten senken, indem größere Dateien erstellt werden.

    • Beachten Sie, dass wir in einem Szenario mit hohem Durchsatz (z. B. 50 MB/s pro Konnektor) empfehlen, diese Eigenschaft zu deaktivieren, wenn Sie einen Anstieg der Latenz oder der Kosten feststellen.

  • Berechtigungen und Sicherheit:

    • Einheitliche Snowflake-Rolle und -Benutzer für Snowpipe Streaming zum Erstellen und Einfügen von Tabellen.

    • Die Guava-Abhängigkeit wurde auf 32.0.1 aktualisiert.

    • Die Snowpipe Streaming SDK-Abhängigkeit wurde auf 2.0.1 aktualisiert.

Fehlerkorrekturen

  • Problem behoben, bei dem Offsets übersprungen werden, wenn die Schematisierung aktiviert ist.

  • Snowpipe Streaming-Kanäle werden beim Neuausgleichen nicht geschlossen.

Version 1.9.3 (22. Mai 2023)

Neue Features und Aktualisierungen

  • Möglichkeit hinzugefügt, einen Streaming-Erfassungsclient zu verwenden (Standardeinstellung: „false“).

  • Verwendung des MDC-Kontext-Loggers gestartet.

  • Upgrades auf folgende Versionen:

  • Ingest SDK-Version 1.1.4

  • JDBC-Version 3.13.30

Fehlerkorrekturen

  • Problem bei Verwendung des Befehls GET behoben, wenn GCS_USE_DOWNSCOPED_CREDENTIAL den Wert „true“ hat.

  • Commit-Offset-Verhalten von Snowpipe-basierten KCs korrigiert.