Snowpark Connect for Spark-Versionshinweise 2026¶

Disable filter_classpath_jars at server startup

Support UDT cast-to-string and reject invalid UDT casts

Fix DataFrame describe and summary APIs

Add SUPPORTED_SCALES guard to skip workloads at unsupported scales

Add Scala 2.13 equivalent JARs to dependency packages

Add Hive partitioning implementation and limitations reference

Remove 29 unused JARs from snowpark_connect_deps packages (~23 MB)

Skip explicit structured cast when server supports implicit cast for Parquet

Bump Snowpark dependency to 1.50.0

Set Parquet useLogicalType default to true

Fix count() to match Spark SQL behavior

Relax protobuf version constraint from <6.32.0 to <6.34.0

Consistently coerce to unstructured types

Replace snowflake.snowpark_connect.includes import with pyspark.sql

Always use vectorized Parquet scanner; remove useVectorizedScanner configuration option

Fix regexp_extract defaults, inline flags, and PCRE handling

Fix SQL operator compatibility gaps

Fix IN NULL semantics to match Spark behavior

Support named persistent external stage read in XML UDTF

Preserve UDT metadata through temp views and toDF renames

Use SQL path for catalog table existence checks

Allow star expression in the map columns aggregation

Implement sequence support for timestamp/date and interval types

Add CTE session parameter

Initialize tracking nullability of columns and complex types

Track nullability for built-in functions across multiple expression categories

Track nullable in Set command

Add nullability to range

Introduce performance regression gate in GitHub Actions

Fix CTE-qualified column refs in ORDER BY/WHERE/GROUP BY

Fix withColumn on join key after using-style join

Fix fillna raising immediately for missing subset column

Fix case sensitive read of internal stage

Reduce window function boundary materialization

Preserve struct/map/array schema with empty content

Support ON_ERROR=CONTINUE for INFER_SCHEMA in CSV and JSON reads

Fix hex compile-time type dispatch

Avoid redundant temp table creation for read.parquet to saveAsTable

Preserve StructType/MapType in strict mode

Case-insensitive qualifier comparison in column resolution

Use Snowpark builtin for CBRT function

Fix XML nullValue and whitespace handling

Use Decimal for DecimalType in strict mode

Fix map_concat bug

Fix unionByName to handle quotes in column names and respect caseSensitive config

Remove trailing commas from JSON test resource file

Snowpark Connect Java Client library to support Spark Scala and Java workloads

Use native implementation for ARRAY_REPEAT and MAP_ENTRIES

Use MAP_ENTRIES in map_cast

Reduce number of queries used for VARIANT inference in read_parquet

Add cross-request sub-plan cache for map_relation

Implement JSON encoding validation

Reduce query size for functions that internally rename columns

Relax py4j version constraints to allow for broader compatibility

Isolate artifacts by spark session

Add default application name for session

Add JSON date/time format conversion

Handle glob metacharacter escaping in CSV/JSON paths

Fix JSON non-nullable schema to match Spark behavior

Add default column matching case for XML

Fix TEXT lineSep with hex encoding for RECORD_DELIMITER

Fix spark read xml external stage

Empty CSV returns empty DataFrame

Add default idx to regexp_extract

Fix CSV non-nullable schema to match Spark behavior

Fix temp stage naming collision under parallel tests

Add fast path to regexp functions

Schema coercion on storeAssignmentPolicy

CSV backslash delimiter double-escape

Optimize posexplode

CSV lineSep empty validation

Fix bug that xml cannot read external stage file

Reduce default log verbosity for users

Added support for DML row counts

Support overwrite(condition) for DataFrameWriterV2

Iceberg mergeSchema on write — top-level column evolution

Added support for partition overwrites in DataFrameWriterV2

Add app_name parameter to init_spark_session

Fix performance issue

Fix merge schema for JSON

Fix arrays_zip for complex types

Fix LCAs in implicit aggregations

Cache result of JSON file format

Resolve known types from map_unresolved_function without typer

Support hive partitioning for JSON copy into mode

Add SCOS session registration on server initialization

Modify warmup query with distinct string for filtering

Das Problem beim Zugriff auf das Feld „struct“ aus einem Array über „getItem“ wurde behoben.

Das Problem mit den Namen für den Zugriff auf Array-Elemente wurde behoben.

Die fehlende Komprimierung für das TEXT-Format wurde hinzugefügt.

Verringerung der Abfragegröße bei DataFrame.replace, der UDTF-Erstellung und read_parquet

Emulieren von Typen beim Erstellen der Ansicht [temp]

Die Umwandlung strukturierter Typen wurde korrigiert.

Das Problem bei der Validierung des Textschreibtyps wurde behoben.

Unterstützung für das parallele Lesen von XML-Verzeichnissen

Optimierte conv-Funktionsverwendung

Unterstützung für das Lesen und Schreiben des Snowflake- als auch des net.snowflake.spark.snowflake-Formats

Emulieren von Typen für die Erstellungstabelle

Das Problem beim Zugriff auf verschachtelte Strukturen mit Arrays wurde behoben.

Die Parquet-Fehlermeldung wurde behoben.

Optimierte Reduzierung der Abfragegröße für to_number

Das Problem mit dem UDF-Cache wurde behoben, sodass Änderungen an der Abfragedatenbank berücksichtigt werden.

Optimierte mask-Funktion

Übergeben von PATTERN an NVS-Fallback-Leser während der Parquet-Schema-Inferenz

Koersion von Null- und strukturierten Typen

Einführung des DIRECTED-Verknüpfungshinweises

Integrieren von XML inferSchema

Die fehlende JDBC-Typzuordnung wurde hinzugefügt.

Unterstützung des vom Benutzenden bereitgestellten Schemas in Parquet

Optimale Handhabung ungültiger UTF-8 Zeichen in JSON

Auflösen von LCA-Spalten nur, wenn sie tatsächlich verwendet werden

Optimierte Generierung von „get_json_object“-Abfragen

Entferntes Semikolon aus SQL-Abfragen

processInBulk=True als Standard für JSON-Schreibvorgänge und korrigierte NullType-Schema-Inferenz

Der Lesefehler im Stagingbereich wurde behoben.

Die Nichtprüfung in der UDF-Registrierung wurde hinzugefügt.

Engerer Grenzwert für die Fehlermeldung

Fehlende Felder im vom Benutzenden bereitgestellten Schema sind zulässig.

JSON- und CSV-Komprimierungsinferenz

Das Problem mit coalesce(1) beim Erstellen einer einzelnen Datei wurde behoben.

Hinzugefügte execute_jar-Methode zum Starten von Java/Scala-Workloads

Das Problem mit dem --wait-for-completion-Flag wurde behoben.

JSON- und CSV-Komprimierungsinferenz.

Problem mit coalesce beim Erstellen einer einzelnen Datei behoben.

Überarbeiten Sie das Lesen von JSON, um COPY INTO für das Lesen einzelner Dateien zu verwenden, und fügen Sie die VariantType-Schema-Inferenz hinzu.

Ermöglichen Sie JSON das Laden ohne explizites Schema.

Problem mit multi_line in JSON behoben.

Problem mit dem JSON-Ableitungsschema behoben, um das Scannen ganzer Dateien zu vermeiden.

Die Umwandlung in Zeitstempel ltz erfolgt nun korrekt.

Rückgabewert des Klammer-Hashes.

Problem mit repartition durch partitionBy behoben.

Problem bei der Verwendung der Abschnittsüberschrift [connections.spark-connect] in config.toml behoben.

Konvertieren von Java-date/timestamp-Format-Token in Snowflake-Äquivalente für CSV-Lesevorgänge.

Berechnen des Schemas für pivot-Funktionen.

Problem mit UDTFs in lateraler Verknüpfung mit Alias wurde behoben.

Anpassen des Ergebnisses für den Befehl SQL SET.

Problem mit dem Rückgabetyp für CEIL- und FLOOR-Funktionen wurde behoben.

Verbessern der Abfragegenerierung in unbase64 v2.

Problem mit Optionen für die Snowflake-Zuordnung für CSV wurde behoben.

Problem mit der Serialisierung für POJO wurde behoben.

Verbessern der CSV-Header-Fehlermeldungen.

Verbessern der mapType-Erkennungslogik mit try_cast für Parquet-Lesevorgänge.

Unterstützung von reduceGroups API.

Unterstützung für die Angabe von Verbindungsnamen innerhalb von init_spark_session.

Hinzufügen von Konfigurationsparametern zur Verwendung von UDF für unbase64.

Optimieren der SQL-Generierung in der Funktion unbase64.

Problem mit der from_json-Regression wurde behoben

Problem mit Datensätzen, die mehrere Grenzen des BZ2-Komprimierungsblocks umfassen, wurde behoben.

Problem mit der Null-Zulässigkeitszuordnung im unaufgelösten Attribut wurde behoben.

Initialisieren der spark-connect-Sitzung mit einer beliebigen Verbindung, nicht nur einer namens spark-connect

Hinzufügen der Validierung von XML-Optionen

Löschen der CSV ESCAPE-Option bei Übereinstimmung mit dem Anführungszeichen, um Kompilierungsfehler zu vermeiden

Problem mit fehlerhafter Konvertierung von benannten Tupeln in productEncoder wurde behoben.

Die Überprüfung von mergeSchema für CSV und JSON wird nicht unterstützt.

Problem mit Roundtrip vom komplexen Parquet-Typ (Schreiben + Lesen) wurde behoben.

Problem mit Schema für pivot/unpivot wurde behoben.

Problem mit dem Rückgabetyp für MOD- und PMOD-Funktionen wurde behoben.

Problem mit der CSV-Header-Extraktion für Dateien mit führenden Leerzeilen wurde behoben.

Korrektes Testen von Zeitzonen und Ersetzen der zeichenfolgenbasierten Datums-/Uhrzeitserialisierung durch epochenbasierte Datums-/Uhrzeitserialisierung

Aktualisieren der Java-Versionsprüfung für Windows

Vereinfachen von verschachtelten withColumn-Aufrufen

Ändern der Logik für Literal _IntegralType in Hinzufüge-/Unteroperationen

Zurückgeben von LongType für COUNT-Funktionen

Lesen von JSON: Testkomprimierung = bz2/bzip2/none

Verbessern der Leistung von to_varchar/to_char

Ermöglichen des besseren Vergleichs bei E/A-Tests

Standardmäßiges Festlegen von multi_line auf False für das Kopieren von JSON

Löst einen Fehler bei einem nicht spezifizierten Computepool aus.

Entfernen des Ergebnisscans beim Aufruf von df.count()

Sicherstellen, dass das Inferenzschema zum Lesen von JSON auf begrenzten Zeilen ausgeführt wird

Problem mit createDataFrame für Intervalltypen wurde behoben.

Ändern der Logik für Literal _IntegralType bei Multiplikations- und Divisionsoperationen

Erweitern des Erzwingungstyps für Set-Operationen

Problem mit der Unterstützung mehrerer neo4j-Label wurde behoben.

Ändern von JAR-Metadaten, damit Grype die Netty-Sicherheitslücken nicht erkennt

Zurückgeben des korrekten Typs für ANY_VALUE-Funktion

Zurückgeben des erweiterten Typs für die Sequenz

Unterstützung für die Konfiguration von spark.sql.parquet.inferTimestampNTZ.enabled hinzugefügt

Umbenennen/Umwandeln der Batch-Spalte in _validate_schema_and_get_writer

JDBC hängt, wenn partitionierte Abfragen mit Abrufgröße angegeben werden

Zurückgeben einer verkürzten Ausnahmemeldung, wenn der Wert der HTTP-Header-Limits überschritten wird

Problem mit map_type_to_snowflake_type für BigDecimal wurde behoben.

Korrektur hinsichtlich der Genauigkeit und Skalierung von literalen Dezimalstellen

Verbessern der Generierung von zufälligen Zeichenfolgen

Ignorieren von beschädigten Datensätzen beim BZ2-komprimierten Laden von JSON

Verwenden von Stagingdateien aus der Konfiguration in Scala-UDFs

Verwenden von permissiver TRY_CAST in JSON-Lesevorgängen

Anzahl der Server-Threads konfigurierbar machen

Erneutes Hinzufügen von init_spark_session() zum Testen

Aktualisieren der snowpark-submit-Befehlszeilenausgabe zur Verdeutlichung von snowflake-connection-name ist erforderlich.

Zwischenspeichern des Tabellentyps bei Ausführung von saveAsTable

Optimieren der literalen Eingabe für Teilzeichenfolgen- und Typumwandlungen für coalesce

Handhabung des Überlaufs von Dezimalstellen in avg/mean und Korrektur der Koersion des Dezimaltyps

Iceberg – Beibehalten von Zuweisungen beim Überschreiben

Standardisieren des SQL-Passthrough-Modus

Optimieren von from_utc_timestamp/to_utc_timestamp für literale Zeitzone

Handhabung von JSON-Nullwerten in strukturierten Typen, damit sie mit der Spark-Semantik übereinstimmen

Emulieren ganzzahliger Typen beim Erstellen von Tabellen mit SQL

Problem mit Grenzfall bei Zuordnung verschachtelter Zeilen in Scala UDFs behoben

Problem mit der Art und Weise behoben, wie Parquet das Lesen und Schreiben von komplexen strukturierten Datentypen handhabt

Unterstützung zum Speichern des ignore-Arguments für Parquet-Dateien

Unterstützung für Artefakt-Repositorys hinzugefügt

Problem mit NULL-Zulässigkeit von Arrays in Scala UDxF behoben

Problem mit log1p für Argumente aus Bereich (-1, 0) behoben

Problem mit first_value und:code:last_value im Aggregationskontext behoben

Problem mit Lesen DayTimeIntervalType für Scala-Client behoben

Korrekte Handhabung von Zeitzonen in Scala UDFs

Unterstützung von Java 11 und 17 ohne Konfiguration

Unterstützung von snowpark-submit für Python 3.9

Optimierung von init_spark_session für die Verwendung im snowpark-submit-Workflow

Problem mit der split-Funktion behoben

snowflake-snowpark-python-Abhängigkeit auf Version 1.44 herabgestuft

Problem mit Neo4j-Dialektabgleich zur Verbesserung derSQL-Übersetzung behoben

Problem mit Vorgangs-ID, die in Ausführungsantworten zurückgegeben wird, zu Konsistenzwecken behoben

Problem mit der Handhabung von gRPC-Metadaten fürTCP-Kanalverbindungen behoben

Unterstützung für partition_hint in mapPartitions-Vorgängen hinzugefügt

Unterstützung für XML-Reader für Szenarios mit benutzerdefinierten Schemas hinzugefügt

Beibehalten von ausgeblendete Spalten nach verschiedenen DataFrame-Operatoren

Problemen bei Eingabetypen für Scala UDFs (byte, binary, scala.math.BigDecimal) behoben

Hinzufügen von benutzerdefinierten snowpark-submit-Argumenten zum Kommentieren

Fehler mit nicht gesetzter Konfiguration für die Sitzungskonfiguration behoben.

Verwenden Sie „Kopieren in“, um CSV-Dateien parallel zu laden.

Problem mit Schreibvorgängen bei DataFrames mithilfe von äußeren Verknüpfungen behoben.

Verarbeiten von Nullen in Scala-UDFs.

Optimieren der CTE-Abfragegenerierung mit Parameterschutz.

Vermeiden Sie die Umwandlung von Argumenten von DATEDIFF.

Problem mit Anhängen von partitionierten Dateien und Lesen von Nullpartitionen behoben.

Beschleunigen Sie mit SQL die Konvertierung zwischen Dezimal- und Hexadezimalwerten um den Faktor 10.

Bei Parquet-Dateien werden nur geänderte Partitionen überschrieben.

Die Logik, mit der erkannt wird, ob Snowpark Connect for Spark auf XP ausgeführt wird, wurde aktualisiert.

Unterstützung für das Schreiben in eine Tabelle mit dem Datentyp „Variant“ in Snowflake.

Entfernen unnötiger Info-Protokolle.

Verschieben von Java-Tests aus dem Scala-Testjob in einen separaten Job.

Aktualisieren Sie die Version der Abhängigkeit für gcsfs.

Problem mit der Serialisierung von Scala-Tupeln behoben.

Problem mit dem Laden großer JSON-Dateien behoben.

Kleine Korrekturen für Kundenprobleme implementiert.

Korrekturen für struct-Vergleiche implementiert.

Verarbeitung von DataFrames mit 0 Spalten hinzugefügt.

Pfad zum Hochladen der Datei korrigiert.

Das Problem, dass Upload_files_if_needed nicht parallel ausgeführt wird, wurde behoben.

Verbesserung bei der Ableitung von Eingabetypen, wenn UDF-Eingabetypen nicht in der Proto-Datei definiert sind.

Problem mit NA-Grenzfällen wurde behoben.

Unterstützung für das Lesen von einzelnen JSON BZ2-Dateien.

Unterstützung von Scala-UDFs in serverseitigem Snowpark Connect for Spark.

Implementieren der Umwandlung zwischen Zeichenfolge und daytime.

Unterstützung für Scala-UDFs in group_map hinzugefügt.

Reduzieren Sie generierte Workload-Namen.

Problem mit JAVA_HOME-Handhabung in Windows behoben.

Unterstützung der neo4j-Datenquelle über JDBC.