Snowflake Connector for Spark-Versionshinweise 2023¶

Dieser Artikel enthält die Versionshinweise für Snowflake Connector for Spark, einschließlich der folgenden, sofern zutreffend:

Verhaltensänderungen
Neue Features
Fehlerkorrekturen für Kunden

Snowflake verwendet semantische Versionierung für Snowflake Connector for Spark-Aktualisierungen.

Version 2.12.0 (23. Mai 2023)¶

Bemerkung

Ab dieser Version (2.12.0) unterstützt der Snowflake-Konnektor für Spark nicht mehr Spark 3.1, aber weiterhin die Versionen 3.2, 3.3 und 3.4. Frühere Versionen des Konnektors unterstützen aber weiterhin Spark 3.1.

Neue Features¶

Unterstützung von Spark 3.4 hinzugefügt.
Erstellt und getestet mit dem Snowflake-JDBC-Treiber, Version 3.13.30.

Fehlerkorrekturen¶

Keine.

Version 2.11.3 (21. April 2023)¶

Neue Features¶

Der Mechanismus zum Schreiben von DataFrames in Konten auf GCP wurde aktualisiert. Ab Dezember 2023 werden frühere Versionen des Spark-Konnektors aufgrund von Änderungen in GCP nicht mehr in der Lage sein, DataFrames zu schreiben.
Option hinzugefügt, mit der die Validierung von preactions und postactions für die Freigabe von Sitzungen deaktiviert werden kann.

Um die Validierung zu deaktivieren, setzen Sie die Option FORCE_SKIP_PRE_POST_ACTION_CHECK_FOR_SHARED_SESSION auf true. Der Standardwert ist false.

Wichtig

Stellen Sie vor dem Festlegen dieser Option sicher, dass die Abfragen in preactions und postactions keine Auswirkungen auf die Sitzungseinstellungen haben. Andernfalls könnten Probleme bei den Ergebnissen auftreten.

Fehlerkorrekturen¶

Problem behoben, das auftrat, wenn ein Join oder Union über verschiedene Schemas hinweg ausgeführt wurde, wobei die beiden DataFrames auf
Tabellen mit unterschiedlichem sfSchema-Wert zugriffen, aber die Tabelle mit demselben Namen in sfSchema sich im linken DataFrame befindet.

Version 2.11.2 (21. März 2023)¶

Neue Features¶

Unterstützung für die Freigabe von JDBC-Verbindungen hinzugefügt.

Der Snowflake-Konnektor für Spark kann jetzt dieselbe JDBC-Verbindung für verschiedene Jobs und Aktionen verwenden, wenn der Client dieselben Verbindungsoptionen für den Zugriff auf Snowflake nutzt. Zuvor erstellte der Spark-Konnektor für jeden Job oder jede Aktion eine neue JDBC-Verbindung.

Der Spark-Konnektor unterstützt die folgenden Optionen und API-Methoden zum Aktivieren/Deaktivieren dieses Features:
- Um festzulegen, dass der Konnektor nicht dieselbe JDBC-Verbindung verwenden soll, setzen Sie die Konnektoroption support_share_connection auf false. (Der Standardwert ist true, was bedeutet, dass das Feature aktiviert ist.)
- Um das Feature programmgesteuert zu aktivieren bzw. zu deaktivieren, rufen Sie eine der folgenden globalen statischen Funktionen auf: SparkConnectorContext.disableSharedConnection() und SparkConnectorContext.enableSharingJDBCConnection().
Bemerkung

In den folgenden Sonderfällen verwendet der Spark-Konnektor keine freigegebene Verbindung:
- Wenn Werte für preactions oder postactions festgelegt sind und diese preactions- oder postactions-Werte nicht CREATE TABLE, DROP TABLE oder MERGE INTO sind, wird der Spark-Konnektor die freigegebene Verbindung nicht verwenden.
- Hilfsprogrammfunktionen in Utils wie Utils.runQuery() und Utils.getJDBCConnection() verwenden nicht die freigegebene Verbindung.
Der Konnektor wurde aktualisiert und verwendet nun den Snowflake-JDBC-Treiber 3.13.29.

Fehlerkorrekturen¶

Keine.