Snowflake Connector for Kafka-Versionshinweise 2024¶

Snowflake Ingest Java SDK wurde auf die Version 2.2.2 aktualisiert.

Korrektur von Problemen mit der Schematisierung.

Snowflake Ingest Java SDK wurde auf Version 2.2.0 aktualisiert, die eine kritische Korrektur für mögliche Probleme enthält, wenn change_tracking für Streams und dynamische Tabellen aktiviert ist.

Der Snowflake JDBC-Treiber wurde von Version 3.14.5 auf Version 3.18.0 aktualisiert.

Die Protokollierung in verschiedenen Komponenten wurde verbessert, um die Fehlersuche zu erleichtern.

Die Logik zum erneuten Öffnen von Kanälen wurde verbessert.

Aktualisierte Abhängigkeiten mit bekannten Sicherheitslücken.

Es wurde Unterstützung für das parallele Schließen von Snowpipe Streaming-Kanälen hinzugefügt, wodurch sich die Zeit für das Rebalancing erheblich verkürzt.

In den Metadaten wurde eine neue SnowflakeConnectorPushTime-Eigenschaft hinzugefügt, die den Zeitpunkt angibt, zu dem die Meldung vom Konnektor verschoben wurde.

Aktualisierte Abhängigkeiten mit bekannten Sicherheitslücken.

Problem behoben, bei dem die Stagingdateien nicht vollständig bereinigt wurden.

Logik zum Verifizieren von Offsets hinzugefügt, um sicherzustellen, dass keine Daten fehlen oder doppelt vorhanden sind.

Überschriebene Zuordnung des Client-Anbieters für Snowpipe Streaming hinzugefügt. Die Zuordnung verwendet kommagetrennte Schlüsselpaare als Eingabe.

Upgrades auf folgende Versionen:

• JDBC auf 3.14.5.

• kafka-connect-api auf 3.7.0.

• jackson-core und jackson-databind auf 2.16.1

• commons-compress auf 1.26.0

Streaming-Ingest-Threads werden bereinigt, wenn SinkTask stop () aufgerufen wird.

Der alte Datentyp, der in eine ARRAY-Spalte zur Schematisierung eingeht, wurde beibehalten.

Unterstützung von logischen AVRO-Typen hinzugefügt.

Änderungen vorgenommen, um mögliche Datenduplizierung aufgrund eines neuen Kanalnamenformats zu verhindern.

Änderungen vorgenommen, um alten Datentyp zu erhalten, der in eine ARRAY-Spalte für die Schematisierung eingeht.

Änderungen vorgenommen, um Schemaentwicklung zum Hinzufügen von Spalten idempotent zu machen.

Ingest SDK MAX_CLIENT_LAG-Konfiguration im Kafka-Konnektor aktiviert.

Probleme bei Schemaentwicklungsfällen behoben, die zu einer nicht genau einmaligen Zustellung führen konnten.

Probleme bei Generierung und Erstellung der Java-Bibliothek wurden behoben.

Problem behoben, bei dem der Kafka-Offset nicht korrekt zurückgesetzt wurde.