Snowflake Connector for Kafka-Versionshinweise 2025¶

Neue Features¶

• Der Konnektor handhabt jetzt automatisch die Clientumleitung während des Failovers, sodass der Konnektor nach einer Änderung der Primärbereitstellung nicht mehr manuell neu gestartet werden muss.

• Automatische Failover-Unterstützung für Snowpipe Streaming hinzugefügt.

• Granulare Protokollierung der Schemaentwicklung hinzugefügt, um die Fehlersuche zu verbessern.

• Snowflake Ingest SDK auf Version 4.4.0 aktualisiert.

Verhaltensänderungen¶

• Standardwert der enable.streaming.channel.offset.migration-Eigenschaft in false geändert. Diese Eigenschaft wurde nur verwendet, wenn der Snowflake Streaming-Kanal nach der Migration von der Kafka-Konnektor-Version 2.1.0 oder 2.1.1 zum ersten Mal verwendet wurde: Sie ermöglichte die Migration von Offsets von Kanälen, die von diesen Versionen erstellt wurden (wozu der Name des Konnektors im Kanalnamen gehörte): [connectorName]_[topic]_[partition]) für das Kanalnamenformat, das von allen anderen Versionen verwendet wird ([topic]_[partition]).

Neue Features¶

• Eigenschaft snowflake.streaming.channel.name.include.connector.name hinzugefügt. Wenn auf true gesetzt, gehört dazu der Name des Konnektors in den Namen der Snowpipe Streaming-Kanäle ([connectorName]_[topic]_[partition]). Einstellen dieser Eigenschaft auf true erfordert, dass enable.streaming.channel.offset.migration auf false gesetzt wird. Dadurch können Benutzer der Kafka-Konnektor-Versionen 2.1.0 und 2.1.1 ein Upgrade ohne Datenverlust durchführen.

  Warnung

  Benutzer, die ein Upgrade von anderen Versionen als 2.1.0 und 2.1.1 durchführen, die snowflake.streaming.channel.name.include.connector.name auf true einstellen, erhalten eine Datenduplizierung. Es gibt keine Logik für die Offset-Migration für andere Versionen.

• Snowflake Ingest SDK auf Version 4.3.2 aktualisiert.

Fehlerkorrekturen¶

Nicht anwendbar.

Neue Features¶

• Snowflake JDBC-Treiber auf Version 3.26.1 aktualisiert.

Fehlerkorrekturen¶

• OAuth-URLs unterstützen jetzt Punkte und Bindestriche.

Verhaltensänderungen¶

Nicht anwendbar

Neue Features¶

• Der Snowflake Connector für Kafka unterstützt jetzt den long-Typ mit dem logischen timestamp-Typ in Apache Iceberg™-Tabellen.

  Eine vollständige Liste der unterstützten Typen finden Sie unter Datentypen für Apache Iceberg™-Tabellen.

Fehlerkorrekturen¶

Nicht anwendbar.

Verhaltensänderungen¶

Nicht anwendbar

Neue Features¶

• Verwendet Confluent-Pakete der Version 7.9.2.

Fehlerkorrekturen¶

Nicht anwendbar

Verhaltensänderungen¶

Nicht anwendbar

Neue Features¶

• Verwendet JDBC Version 3.24.2

Fehlerkorrekturen¶

Nicht anwendbar

Verhaltensänderungen¶

Nicht anwendbar

Neue Features¶

• Die Unterstützung für die doppelt gepufferte Version für den Datenaufnahmetyp SNOWPIPE_STREAMING wurde entfernt.

  Die Einstellung snowflake.streaming.enable.single.buffer hat keine Auswirkung.

Fehlerkorrekturen¶

• Der Konnektor löscht keine Tabellenzeilen mehr mit fehlenden Offsets.

• Während der Schemaentwicklung werden bei der Änderung des Schemas bestimmte einzelne Datensätze nicht mehr gelöscht.

Verhaltensänderungen¶

• Snowpipe Streaming mit doppeltem Puffer ist jetzt veraltet. In zukünftigen Releases wird nur noch der Einzelpuffer unterstützt.

Neue Features und Verbesserungen¶

• Der Konnektor wurde aktualisiert und verwendet nun Kafka Version 3.9.0.

• Der Konnektor wurde aktualisiert und verwendet nun slf4j-api Version 2.0.17.

• Unterstützt JDBC Version 3.23.2.

Fehlerkorrekturen¶

• snowflake-jdbc löst keine NullPointerException mehr in bestimmten Situationen aus.

Verhaltensänderungen¶

Nicht anwendbar

Neue Features¶

• Unterstützt die Verwendung von -Infinity-Werten in einer Gleitkommazahl.

• Aktualisierter Konnektor zur Verwendung von Confluent-Paketen der Version 7.9.0.

• Unterstützt JDBC Version 3.21.1.

Fehlerkorrekturen¶

Nicht anwendbar.

Verhaltensänderungen¶

• Der max_client_lag in Snowpipe Streaming-Standardwert wurde von 120 s in 30 s geändert.

Neue Features¶

Nicht anwendbar

Fehlerkorrekturen¶

Nicht anwendbar.

Verhaltensänderungen¶

Nicht anwendbar

Neue Features¶

• Der Snowflake Connector für Kafka unterstützt jetzt die externe OAuth-Authentifizierung.

• Der Snowflake Connector für Kafka verwendet jetzt die Confluent-Version 7.8.0.

Fehlerkorrekturen¶

• Der Konnektor gibt nicht mehr die Meldung IndexOutOfBoundException aus, wenn die Offsets während der Schemaentwicklung nicht kontinuierlich sind.

• Wenn bei der Snowpipe-Datenaufnahmemethode der Parameter snowflake.topic2table.map so konfiguriert ist, dass er mehrere Themen einer einzigen Tabelle zuordnet, fügt der Konnektor das Salt hashCode des Themas zu den Präfixen des Stagingbereichs hinzu, um Dateikollisionen zu vermeiden und Daten aus allen angegebenen Themen zu laden.