Snowpark Connect for Spark-Versionshinweise 2026

Snowflake verwendet semantische Versionierung für Snowpark Connect for Spark-Aktualisierungen.

Die entsprechende Dokumentation finden Sie unter Apache Spark™-Workloads auf Snowflake mit Snowpark Connect for Spark ausführen und Übermitteln von Spark-Anwendungen.

1.14.0 (19. Februar 2026)

Snowpark Connect for Spark

Fehlerkorrekturen

  • Zwischenspeichern des Tabellentyps bei Ausführung von saveAsTable

  • Optimieren der literalen Eingabe für Teilzeichenfolgen- und Typumwandlungen für coalesce

  • Handhabung des Überlaufs von Dezimalstellen in avg/mean und Korrektur der Koersion des Dezimaltyps

  • Iceberg – Beibehalten von Zuweisungen beim Überschreiben

  • Standardisieren des SQL-Passthrough-Modus

  • Optimieren von from_utc_timestamp/to_utc_timestamp für literale Zeitzone

  • Handhabung von JSON-Nullwerten in strukturierten Typen, damit sie mit der Spark-Semantik übereinstimmen

  • Emulieren ganzzahliger Typen beim Erstellen von Tabellen mit SQL

  • Problem mit Grenzfall bei Zuordnung verschachtelter Zeilen in Scala UDFs behoben

  • Problem mit der Art und Weise behoben, wie Parquet das Lesen und Schreiben von komplexen strukturierten Datentypen handhabt

  • Unterstützung zum Speichern des ignore-Arguments für Parquet-Dateien

  • Unterstützung für Artefakt-Repositorys hinzugefügt

  • Problem mit NULL-Zulässigkeit von Arrays in Scala UDxF behoben

  • Problem mit log1p für Argumente aus Bereich (-1, 0) behoben

  • Problem mit first_value und:code:last_value im Aggregationskontext behoben

  • Problem mit Lesen DayTimeIntervalType für Scala-Client behoben

Neue Features

  • Korrekte Handhabung von Zeitzonen in Scala UDFs

  • Unterstützung von Java 11 und 17 ohne Konfiguration

Aktualisierungen für Snowpark Submit

Neue Features

  • Unterstützung von snowpark-submit für Python 3.9

  • Optimierung von init_spark_session für die Verwendung im snowpark-submit-Workflow

1.13.0 (13. Februar 2026)

Snowpark Connect for Spark

Fehlerkorrekturen

  • Problem mit der split-Funktion behoben

  • snowflake-snowpark-python-Abhängigkeit auf Version 1.44 herabgestuft

  • Problem mit Neo4j-Dialektabgleich zur Verbesserung derSQL-Übersetzung behoben

  • Problem mit Vorgangs-ID, die in Ausführungsantworten zurückgegeben wird, zu Konsistenzwecken behoben

  • Problem mit der Handhabung von gRPC-Metadaten fürTCP-Kanalverbindungen behoben

Neue Features

  • Unterstützung für partition_hint in mapPartitions-Vorgängen hinzugefügt

  • Unterstützung für XML-Reader für Szenarios mit benutzerdefinierten Schemas hinzugefügt

1.11.0 (28. Januar 2026)

Snowpark Connect for Spark

Fehlerkorrekturen

  • Beibehalten von ausgeblendete Spalten nach verschiedenen DataFrame-Operatoren

  • Problemen bei Eingabetypen für Scala UDFs (byte, binary, scala.math.BigDecimal) behoben

Sonstige Updates

  • Hinzufügen von benutzerdefinierten snowpark-submit-Argumenten zum Kommentieren

1.10.0 (22. Januar 2026)

Snowpark Connect for Spark

Fehlerkorrekturen

  • Fehler mit nicht gesetzter Konfiguration für die Sitzungskonfiguration behoben.

  • Verwenden Sie „Kopieren in“, um CSV-Dateien parallel zu laden.

  • Problem mit Schreibvorgängen bei DataFrames mithilfe von äußeren Verknüpfungen behoben.

  • Verarbeiten von Nullen in Scala-UDFs.

  • Optimieren der CTE-Abfragegenerierung mit Parameterschutz.

  • Vermeiden Sie die Umwandlung von Argumenten von DATEDIFF.

  • Problem mit Anhängen von partitionierten Dateien und Lesen von Nullpartitionen behoben.

  • Beschleunigen Sie mit SQL die Konvertierung zwischen Dezimal- und Hexadezimalwerten um den Faktor 10.

Neue Features

  • Bei Parquet-Dateien werden nur geänderte Partitionen überschrieben.

Sonstige Updates

  • Die Logik, mit der erkannt wird, ob Snowpark Connect for Spark auf XP ausgeführt wird, wurde aktualisiert.

  • Unterstützung für das Schreiben in eine Tabelle mit dem Datentyp „Variant“ in Snowflake.

  • Entfernen unnötiger Info-Protokolle.

  • Verschieben von Java-Tests aus dem Scala-Testjob in einen separaten Job.

  • Aktualisieren Sie die Version der Abhängigkeit für gcsfs.

Snowpark Submit

Keine.

1.9.0 (14. Januar 2026)

Snowpark Connect for Spark

Fehlerkorrekturen

  • Problem mit der Serialisierung von Scala-Tupeln behoben.

  • Problem mit dem Laden großer JSON-Dateien behoben.

  • Kleine Korrekturen für Kundenprobleme implementiert.

  • Korrekturen für struct-Vergleiche implementiert.

  • Verarbeitung von DataFrames mit 0 Spalten hinzugefügt.

  • Pfad zum Hochladen der Datei korrigiert.

  • Das Problem, dass Upload_files_if_needed nicht parallel ausgeführt wird, wurde behoben.

  • Verbesserung bei der Ableitung von Eingabetypen, wenn UDF-Eingabetypen nicht in der Proto-Datei definiert sind.

  • Problem mit NA-Grenzfällen wurde behoben.

Neue Features

  • Unterstützung für das Lesen von einzelnen JSON BZ2-Dateien.

  • Unterstützung von Scala-UDFs in serverseitigem Snowpark Connect for Spark.

  • Implementieren der Umwandlung zwischen Zeichenfolge und daytime.

  • Unterstützung für Scala-UDFs in group_map hinzugefügt.

Snowpark Submit

Fehlerkorrekturen

  • Reduzieren Sie generierte Workload-Namen.

1.8.0 (7. Januar 2026)

Snowpark Connect for Spark

Fehlerkorrekturen

  • Problem mit JAVA_HOME-Handhabung in Windows behoben.

Neue Features

  • Unterstützung der neo4j-Datenquelle über JDBC.

Snowpark Submit

Keine.