Snowflake Connector for Spark-Versionshinweise 2024¶

Änderungen in Verhaltensänderungs-Release (BCR)¶

Ab Version 3.0.0 wurden für Snowflake Connector for Spark die folgenden grundlegenden Änderungen vorgenommen:

• Die Funktion „Erweiterter Abfrage-Pushdown“ wurde entfernt.

  Es sind Alternativen zu dieser Funktion verfügbar. Anstatt Daten aus Snowflake-Tabellen zu laden, können Benutzer beispielsweise Daten direkt aus Snowflake SQL-Abfragen laden.

  Snowflake plant die Einführung eines Tools zur Konvertierung von DataFrames zwischen Spark und Snowpark in einem zukünftigen Snowflake Connector for Spark-Release.

• Jedes Release enthält nun ein Artefakt anstelle mehrerer Artefakte für verschiedene Spark-Versionen.

  Das einzelne Artefakt funktioniert mit mehreren Spark-Versionen. Derzeit hat Snowflake die Unterstützung für Spark 3.4 und 3.5 in der Snowflake Connector for Spark-Version 3.0.0 verifiziert.

Gemäß den Snowflake Support-Richtlinien wird Snowflake Spark-Versionen 2.x.x noch bis zu zwei Jahre lang unterstützen.

Neue Features¶

• Aktualisierung von JDBC auf 3.17.0 zur Unterstützung von LOB.

• Unterstützung für Spark 3.5.0 hinzugefügt.

Fehlerkorrekturen¶

• Die Anforderung des Parameters SFUSER bei Verwendung von OAUTH wurde entfernt.

Neue Features¶

• Neuer Parameter trim_space eingeführt, mit dem Sie die Werte von StringType-Spalten beim Speichern in einer Snowflake-Tabelle automatisch abschneiden können. Standard: false.

Fehlerkorrekturen¶

• Problem behoben, das die Meldung „cancelled queries can be restarted in the Spark retries after application closed“ verursachte.