Snowpark Connect for Spark-Versionshinweise 2026¶

JSON- und CSV-Komprimierungsinferenz.

Problem mit coalesce beim Erstellen einer einzelnen Datei behoben.

Überarbeiten Sie das Lesen von JSON, um COPY INTO für das Lesen einzelner Dateien zu verwenden, und fügen Sie die VariantType-Schema-Inferenz hinzu.

Ermöglichen Sie JSON das Laden ohne explizites Schema.

Problem mit multi_line in JSON behoben.

Problem mit dem JSON-Ableitungsschema behoben, um das Scannen ganzer Dateien zu vermeiden.

Die Umwandlung in Zeitstempel ltz erfolgt nun korrekt.

Rückgabewert des Klammer-Hashes.

Problem mit repartition durch partitionBy behoben.

Problem bei der Verwendung der Abschnittsüberschrift [connections.spark-connect] in config.toml behoben.

Konvertieren von Java-date/timestamp-Format-Token in Snowflake-Äquivalente für CSV-Lesevorgänge.

Berechnen des Schemas für pivot-Funktionen.

Problem mit UDTFs in lateraler Verknüpfung mit Alias wurde behoben.

Anpassen des Ergebnisses für den Befehl SQL SET.

Problem mit dem Rückgabetyp für CEIL- und FLOOR-Funktionen wurde behoben.

Verbessern der Abfragegenerierung in unbase64 v2.

Problem mit Optionen für die Snowflake-Zuordnung für CSV wurde behoben.

Problem mit der Serialisierung für POJO wurde behoben.

Verbessern der CSV-Header-Fehlermeldungen.

Verbessern der mapType-Erkennungslogik mit try_cast für Parquet-Lesevorgänge.

Unterstützung von reduceGroups API.

Unterstützung für die Angabe von Verbindungsnamen innerhalb von init_spark_session.

Hinzufügen von Konfigurationsparametern zur Verwendung von UDF für unbase64.

Optimieren der SQL-Generierung in der Funktion unbase64.

Problem mit der from_json-Regression wurde behoben

Problem mit Datensätzen, die mehrere Grenzen des BZ2-Komprimierungsblocks umfassen, wurde behoben.

Problem mit der Null-Zulässigkeitszuordnung im unaufgelösten Attribut wurde behoben.

Initialisieren der spark-connect-Sitzung mit einer beliebigen Verbindung, nicht nur einer namens spark-connect

Hinzufügen der Validierung von XML-Optionen

Löschen der CSV ESCAPE-Option bei Übereinstimmung mit dem Anführungszeichen, um Kompilierungsfehler zu vermeiden

Problem mit fehlerhafter Konvertierung von benannten Tupeln in productEncoder wurde behoben.

Die Überprüfung von mergeSchema für CSV und JSON wird nicht unterstützt.

Problem mit Roundtrip vom komplexen Parquet-Typ (Schreiben + Lesen) wurde behoben.

Problem mit Schema für pivot/unpivot wurde behoben.

Problem mit dem Rückgabetyp für MOD- und PMOD-Funktionen wurde behoben.

Problem mit der CSV-Header-Extraktion für Dateien mit führenden Leerzeilen wurde behoben.

Korrektes Testen von Zeitzonen und Ersetzen der zeichenfolgenbasierten Datums-/Uhrzeitserialisierung durch epochenbasierte Datums-/Uhrzeitserialisierung

Aktualisieren der Java-Versionsprüfung für Windows

Vereinfachen von verschachtelten withColumn-Aufrufen

Ändern der Logik für Literal _IntegralType in Hinzufüge-/Unteroperationen

Zurückgeben von LongType für COUNT-Funktionen

Lesen von JSON: Testkomprimierung = bz2/bzip2/none

Verbessern der Leistung von to_varchar/to_char

Ermöglichen des besseren Vergleichs bei E/A-Tests

Standardmäßiges Festlegen von multi_line auf False für das Kopieren von JSON

Löst einen Fehler bei einem nicht spezifizierten Computepool aus.

Entfernen des Ergebnisscans beim Aufruf von df.count()

Sicherstellen, dass das Inferenzschema zum Lesen von JSON auf begrenzten Zeilen ausgeführt wird

Problem mit createDataFrame für Intervalltypen wurde behoben.

Ändern der Logik für Literal _IntegralType bei Multiplikations- und Divisionsoperationen

Erweitern des Erzwingungstyps für Set-Operationen

Problem mit der Unterstützung mehrerer neo4j-Label wurde behoben.

Ändern von JAR-Metadaten, damit Grype die Netty-Sicherheitslücken nicht erkennt

Zurückgeben des korrekten Typs für ANY_VALUE-Funktion

Zurückgeben des erweiterten Typs für die Sequenz

Unterstützung für die Konfiguration von spark.sql.parquet.inferTimestampNTZ.enabled hinzugefügt

Umbenennen/Umwandeln der Batch-Spalte in _validate_schema_and_get_writer

JDBC hängt, wenn partitionierte Abfragen mit Abrufgröße angegeben werden

Zurückgeben einer verkürzten Ausnahmemeldung, wenn der Wert der HTTP-Header-Limits überschritten wird

Problem mit map_type_to_snowflake_type für BigDecimal wurde behoben.

Korrektur hinsichtlich der Genauigkeit und Skalierung von literalen Dezimalstellen

Verbessern der Generierung von zufälligen Zeichenfolgen

Ignorieren von beschädigten Datensätzen beim BZ2-komprimierten Laden von JSON

Verwenden von Stagingdateien aus der Konfiguration in Scala-UDFs

Verwenden von permissiver TRY_CAST in JSON-Lesevorgängen

Anzahl der Server-Threads konfigurierbar machen

Erneutes Hinzufügen von init_spark_session() zum Testen

Aktualisieren der snowpark-submit-Befehlszeilenausgabe zur Verdeutlichung von snowflake-connection-name ist erforderlich.

Zwischenspeichern des Tabellentyps bei Ausführung von saveAsTable

Optimieren der literalen Eingabe für Teilzeichenfolgen- und Typumwandlungen für coalesce

Handhabung des Überlaufs von Dezimalstellen in avg/mean und Korrektur der Koersion des Dezimaltyps

Iceberg – Beibehalten von Zuweisungen beim Überschreiben

Standardisieren des SQL-Passthrough-Modus

Optimieren von from_utc_timestamp/to_utc_timestamp für literale Zeitzone

Handhabung von JSON-Nullwerten in strukturierten Typen, damit sie mit der Spark-Semantik übereinstimmen

Emulieren ganzzahliger Typen beim Erstellen von Tabellen mit SQL

Problem mit Grenzfall bei Zuordnung verschachtelter Zeilen in Scala UDFs behoben

Problem mit der Art und Weise behoben, wie Parquet das Lesen und Schreiben von komplexen strukturierten Datentypen handhabt

Unterstützung zum Speichern des ignore-Arguments für Parquet-Dateien

Unterstützung für Artefakt-Repositorys hinzugefügt

Problem mit NULL-Zulässigkeit von Arrays in Scala UDxF behoben

Problem mit log1p für Argumente aus Bereich (-1, 0) behoben

Problem mit first_value und:code:last_value im Aggregationskontext behoben

Problem mit Lesen DayTimeIntervalType für Scala-Client behoben

Korrekte Handhabung von Zeitzonen in Scala UDFs

Unterstützung von Java 11 und 17 ohne Konfiguration

Unterstützung von snowpark-submit für Python 3.9

Optimierung von init_spark_session für die Verwendung im snowpark-submit-Workflow

Problem mit der split-Funktion behoben

snowflake-snowpark-python-Abhängigkeit auf Version 1.44 herabgestuft

Problem mit Neo4j-Dialektabgleich zur Verbesserung derSQL-Übersetzung behoben

Problem mit Vorgangs-ID, die in Ausführungsantworten zurückgegeben wird, zu Konsistenzwecken behoben

Problem mit der Handhabung von gRPC-Metadaten fürTCP-Kanalverbindungen behoben

Unterstützung für partition_hint in mapPartitions-Vorgängen hinzugefügt

Unterstützung für XML-Reader für Szenarios mit benutzerdefinierten Schemas hinzugefügt

Beibehalten von ausgeblendete Spalten nach verschiedenen DataFrame-Operatoren

Problemen bei Eingabetypen für Scala UDFs (byte, binary, scala.math.BigDecimal) behoben

Hinzufügen von benutzerdefinierten snowpark-submit-Argumenten zum Kommentieren

Fehler mit nicht gesetzter Konfiguration für die Sitzungskonfiguration behoben.

Verwenden Sie „Kopieren in“, um CSV-Dateien parallel zu laden.

Problem mit Schreibvorgängen bei DataFrames mithilfe von äußeren Verknüpfungen behoben.

Verarbeiten von Nullen in Scala-UDFs.

Optimieren der CTE-Abfragegenerierung mit Parameterschutz.

Vermeiden Sie die Umwandlung von Argumenten von DATEDIFF.

Problem mit Anhängen von partitionierten Dateien und Lesen von Nullpartitionen behoben.

Beschleunigen Sie mit SQL die Konvertierung zwischen Dezimal- und Hexadezimalwerten um den Faktor 10.

Bei Parquet-Dateien werden nur geänderte Partitionen überschrieben.

Die Logik, mit der erkannt wird, ob Snowpark Connect for Spark auf XP ausgeführt wird, wurde aktualisiert.

Unterstützung für das Schreiben in eine Tabelle mit dem Datentyp „Variant“ in Snowflake.

Entfernen unnötiger Info-Protokolle.

Verschieben von Java-Tests aus dem Scala-Testjob in einen separaten Job.

Aktualisieren Sie die Version der Abhängigkeit für gcsfs.

Problem mit der Serialisierung von Scala-Tupeln behoben.

Problem mit dem Laden großer JSON-Dateien behoben.

Kleine Korrekturen für Kundenprobleme implementiert.

Korrekturen für struct-Vergleiche implementiert.

Verarbeitung von DataFrames mit 0 Spalten hinzugefügt.

Pfad zum Hochladen der Datei korrigiert.

Das Problem, dass Upload_files_if_needed nicht parallel ausgeführt wird, wurde behoben.

Verbesserung bei der Ableitung von Eingabetypen, wenn UDF-Eingabetypen nicht in der Proto-Datei definiert sind.

Problem mit NA-Grenzfällen wurde behoben.

Unterstützung für das Lesen von einzelnen JSON BZ2-Dateien.

Unterstützung von Scala-UDFs in serverseitigem Snowpark Connect for Spark.

Implementieren der Umwandlung zwischen Zeichenfolge und daytime.

Unterstützung für Scala-UDFs in group_map hinzugefügt.

Reduzieren Sie generierte Workload-Namen.

Problem mit JAVA_HOME-Handhabung in Windows behoben.

Unterstützung der neo4j-Datenquelle über JDBC.