Snowpark Connect for Spark-Versionshinweise 2026¶
Snowflake verwendet semantische Versionierung für Snowpark Connect for Spark-Aktualisierungen.
Die entsprechende Dokumentation finden Sie unter Apache Spark™-Workloads auf Snowflake mit Snowpark Connect for Spark ausführen und Übermitteln von Spark-Anwendungen.
1.14.0 (19. Februar 2026)¶
Snowpark Connect for Spark¶
Fehlerkorrekturen¶
Zwischenspeichern des Tabellentyps bei Ausführung von
saveAsTableOptimieren der literalen Eingabe für Teilzeichenfolgen- und Typumwandlungen für
coalesceHandhabung des Überlaufs von Dezimalstellen in
avg/meanund Korrektur der Koersion des DezimaltypsIceberg – Beibehalten von Zuweisungen beim Überschreiben
Standardisieren des SQL-Passthrough-Modus
Optimieren von
from_utc_timestamp/to_utc_timestampfür literale ZeitzoneHandhabung von JSON-Nullwerten in strukturierten Typen, damit sie mit der Spark-Semantik übereinstimmen
Emulieren ganzzahliger Typen beim Erstellen von Tabellen mit SQL
Problem mit Grenzfall bei Zuordnung verschachtelter Zeilen in Scala UDFs behoben
Problem mit der Art und Weise behoben, wie Parquet das Lesen und Schreiben von komplexen strukturierten Datentypen handhabt
Unterstützung zum Speichern des ignore-Arguments für Parquet-Dateien
Unterstützung für Artefakt-Repositorys hinzugefügt
Problem mit NULL-Zulässigkeit von Arrays in Scala UDxF behoben
Problem mit
log1pfür Argumente aus Bereich (-1, 0) behobenProblem mit
first_valueund:code:last_valueim Aggregationskontext behobenProblem mit Lesen
DayTimeIntervalTypefür Scala-Client behoben
Neue Features¶
Korrekte Handhabung von Zeitzonen in Scala UDFs
Unterstützung von Java 11 und 17 ohne Konfiguration
Aktualisierungen für Snowpark Submit¶
Neue Features¶
Unterstützung von
snowpark-submitfür Python 3.9Optimierung von
init_spark_sessionfür die Verwendung imsnowpark-submit-Workflow
1.13.0 (13. Februar 2026)¶
Snowpark Connect for Spark¶
Fehlerkorrekturen¶
Problem mit der
split-Funktion behobensnowflake-snowpark-python-Abhängigkeit auf Version 1.44 herabgestuft
Problem mit
Neo4j-Dialektabgleich zur Verbesserung derSQL-Übersetzung behobenProblem mit Vorgangs-ID, die in Ausführungsantworten zurückgegeben wird, zu Konsistenzwecken behoben
Problem mit der Handhabung von
gRPC-Metadaten fürTCP-Kanalverbindungen behoben
Neue Features¶
Unterstützung für
partition_hintinmapPartitions-Vorgängen hinzugefügtUnterstützung für XML-Reader für Szenarios mit benutzerdefinierten Schemas hinzugefügt
1.11.0 (28. Januar 2026)¶
Snowpark Connect for Spark¶
Fehlerkorrekturen¶
Beibehalten von ausgeblendete Spalten nach verschiedenen DataFrame-Operatoren
Problemen bei Eingabetypen für Scala UDFs (
byte,binary,scala.math.BigDecimal) behoben
Sonstige Updates¶
Hinzufügen von benutzerdefinierten
snowpark-submit-Argumenten zum Kommentieren
1.10.0 (22. Januar 2026)¶
Snowpark Connect for Spark¶
Fehlerkorrekturen¶
Fehler mit nicht gesetzter Konfiguration für die Sitzungskonfiguration behoben.
Verwenden Sie „Kopieren in“, um CSV-Dateien parallel zu laden.
Problem mit Schreibvorgängen bei DataFrames mithilfe von äußeren Verknüpfungen behoben.
Verarbeiten von Nullen in Scala-UDFs.
Optimieren der CTE-Abfragegenerierung mit Parameterschutz.
Vermeiden Sie die Umwandlung von Argumenten von
DATEDIFF.Problem mit Anhängen von partitionierten Dateien und Lesen von Nullpartitionen behoben.
Beschleunigen Sie mit SQL die Konvertierung zwischen Dezimal- und Hexadezimalwerten um den Faktor 10.
Neue Features¶
Bei Parquet-Dateien werden nur geänderte Partitionen überschrieben.
Sonstige Updates¶
Die Logik, mit der erkannt wird, ob Snowpark Connect for Spark auf XP ausgeführt wird, wurde aktualisiert.
Unterstützung für das Schreiben in eine Tabelle mit dem Datentyp „Variant“ in Snowflake.
Entfernen unnötiger Info-Protokolle.
Verschieben von Java-Tests aus dem Scala-Testjob in einen separaten Job.
Aktualisieren Sie die Version der Abhängigkeit für gcsfs.
Snowpark Submit¶
Keine.
1.9.0 (14. Januar 2026)¶
Snowpark Connect for Spark¶
Fehlerkorrekturen¶
Problem mit der Serialisierung von Scala-Tupeln behoben.
Problem mit dem Laden großer JSON-Dateien behoben.
Kleine Korrekturen für Kundenprobleme implementiert.
Korrekturen für struct-Vergleiche implementiert.
Verarbeitung von DataFrames mit 0 Spalten hinzugefügt.
Pfad zum Hochladen der Datei korrigiert.
Das Problem, dass
Upload_files_if_needednicht parallel ausgeführt wird, wurde behoben.Verbesserung bei der Ableitung von Eingabetypen, wenn UDF-Eingabetypen nicht in der Proto-Datei definiert sind.
Problem mit NA-Grenzfällen wurde behoben.
Neue Features¶
Unterstützung für das Lesen von einzelnen JSON BZ2-Dateien.
Unterstützung von Scala-UDFs in serverseitigem Snowpark Connect for Spark.
Implementieren der Umwandlung zwischen Zeichenfolge und
daytime.Unterstützung für Scala-UDFs in
group_maphinzugefügt.
Snowpark Submit¶
Fehlerkorrekturen¶
Reduzieren Sie generierte Workload-Namen.
1.8.0 (7. Januar 2026)¶
Snowpark Connect for Spark¶
Fehlerkorrekturen¶
Problem mit JAVA_HOME-Handhabung in Windows behoben.
Neue Features¶
Unterstützung der
neo4j-Datenquelle über JDBC.
Snowpark Submit¶
Keine.