Snowflake Connector for Kafka-Versionshinweise 2023¶

Java Management Extensions (JMX)-Kennzahlen für Snowpipe Streaming aktiviert.

Tombstone-Erfassung für Snowpipe Streaming aktiviert.

Snowflake OAuth für Kafka-Konnektor mit Snowpipe Streaming aktiviert.

Schematisierungsspalten mit speziellen oder reservierten Schlüsselwörtern aktiviert.

Problem behoben, bei dem die Option für die Einzelclient-Konfiguration standardmäßig nicht aktiviert ist. Die Einzelclient-Konfigurationsoption enable.streaming.client.optimization ist jetzt standardmäßig auf TRUE gesetzt.

Problem mit dem Benennen von Kanälen wurde behoben.

Verbesserte Verarbeitungsleistung bei der Prüfung von Schematisierungsberechtigungen beim Rebalancing.

Fehler behoben, der zu fehlenden Daten in Tabellen aufgrund von Problemen mit dem internen Cache-Clearing während des Rebalancings führte.

Snowpipe Streaming mit Kafka-Konnektor ist jetzt allgemein verfügbar.

Keine.

Eine Clientkonfiguration:

• Die Option enable.streaming.client.optimization wurde eingeführt, die standardmäßig aktiviert ist.

• Mit dieser Clientoptimierung wird pro Kafka-Konnektor nur ein Client für mehrere Themenpartitionen erstellt. Dieses Feature kann die Laufzeit des Clients verkürzen und die Migrationskosten senken, indem größere Dateien erstellt werden.

• Beachten Sie, dass wir in einem Szenario mit hohem Durchsatz (z. B. 50 MB/s pro Konnektor) empfehlen, diese Eigenschaft zu deaktivieren, wenn Sie einen Anstieg der Latenz oder der Kosten feststellen.

Berechtigungen und Sicherheit:

• Einheitliche Snowflake-Rolle und -Benutzer für Snowpipe Streaming zum Erstellen und Einfügen von Tabellen.

• Die Guava-Abhängigkeit wurde auf 32.0.1 aktualisiert.

• Die Snowpipe Streaming SDK-Abhängigkeit wurde auf 2.0.1 aktualisiert.

Problem behoben, bei dem Offsets übersprungen werden, wenn die Schematisierung aktiviert ist.

Snowpipe Streaming-Kanäle werden beim Neuausgleichen nicht geschlossen.

Möglichkeit hinzugefügt, einen Streaming-Erfassungsclient zu verwenden (Standardeinstellung: „false“).

Verwendung des MDC-Kontext-Loggers gestartet.

Upgrades auf folgende Versionen:

• Ingest SDK-Version 1.1.4

• JDBC-Version 3.13.30

Problem bei Verwendung des Befehls GET bei Verwendung des herabgestuften Tokens auf GCP behoben.

Commit-Offset-Verhalten von Snowpipe-basierten KCs korrigiert.