Snowpark Connect for Spark-Versionshinweise 2025¶

Neue Features¶

• Unterstützung beliebiger Typen als Ausgabe- oder Eingabetyp für die Scala-Funktionen map und flatmap.

• Support joinWith.

• Unterstützung beliebiger Rückgabetypen in Scala-UDFs.

• Support registerJavaFunction.

Fehlerkorrekturen¶

• Ein Problem mit der JSON-Schema-Inferenz beim Lesen aus Scala durch JSON wurde behoben.

• Die Rückgabetypen von Funktionen, die falsche ganzzahlige Typen zurückgaben, wurden geändert.

• Fehler bei der Aktualisierung von Feldern mit dem Typ struct wurde behoben.

• Problem mit unbegrenztem Eingabe-Decodierer wurde behoben.

• Problem mit der struct-Funktion, wenn das Argument unresolved_star ist, wurde behoben

• Problem mit Spaltenname für Scala-UDFs, wenn der Proto keinen Funktionsnamen enthält, wurde behoben.

• Unterstützung von PATTERN im Parquet-Format wurde hinzugefügt.

• Behandlung der Schreibmodi error und errorIfExists.

Verbesserungen¶

Keine.

Neue Features¶

• snowflake-connector-python wurde auf < 4.2.0 aktualisiert.

• Grundlegende Unterstützung für einspaltige Zuordnung und flatMap-Operationen für Scala-Datensets wurde hinzugefügt.

• Unterstützung des Schreibens von Iceberg-TargetFileSize und -PartitionBy wurde hinzugefügt.

Fehlerkorrekturen¶

• Synchronisierung von SAS-Serverinitialisierung.

• Verwenden Sie snowpark-connect-deps-1==3.56.3.

• Problem mit saveAsTable bei input_filename-Spalten wurde behoben.

• Doppeltes Lesen des Cache in Scala-UDFs entfernt.

• Rekursionsbeschränkung erhöht.

• Fix format_number.

• Problem mit Ableitungsschema, wenn Abfrage in JDBC-Lesevorgang bereitgestellt wird, behoben.

• Nur Lock-Dict-Operation in cache.py zur Verbesserung der Leistung.

• Probleme mit Tests für gruppierte Daten behoben.

• Auslösung detaillierterer Fehler bei Tabellen- und Lese-/Schreiboperationen.

Verbesserungen¶

Keine.

Neue Features¶

• Einführung reduzierter Funktion für Scala.

Verbesserungen¶

Keine.

Fehlerkorrekturen¶

• Problem mit fehlgeschlagenem Array-Einfügen für nullwertfähige Elemente behoben.

• Ausgabe eines korrekten Fehlers bei nicht-numerischen Argumenten in Kovarianz.

Neue Features¶

• Unterstützung von filter für ein einfaches Dataset (eine Spalte).

• Unterstützung des Parsens der Azure -Schema-URL und von Sonderzeichen in Dateinamen.

Fehlerkorrekturen¶

• Fehler „Dataframe has no attribute dataframe“ in der Scala-Katalog-API behoben.

• Problem mit Aliasnamen in Unterabfrage sowie beim Dokumentieren von nicht funktionierenden Unterabfragen behoben.

• Problem mit plan_id-Auflösung nach Verknüpfungsvorgängen behoben.

• Problem mit meta.yaml für Multi-Py-Versionen behoben.

• Aktivierung von use_vectorized_scanner als Zuordnungstyp von Parquet-Datei war Fehler.

• CSV gibt beim Lesen der inferSchema-Option den Datentyp an.

• Problem bei der Behandlung negativer Länge der substr-Funktion behoben.

• Verwendung zwischengespeicherter Dateiformate in read_parquet.

• Verbesserung der Leistung bei lokalen Beziehungen.

• Generierung von summary _common_metadata für Parquet-Dateien.

• Entfernen sich wiederholender setSchema, setRole usw. für Snowflake-Pushdown.

Verbesserungen¶

Keine.

Neue Features¶

• Versionsanforderungen für grpio und aiobotocore gelockert.

Verbesserungen¶

• Angabe der Abhängigkeitsversion in meta.yaml.

• Erstellen eines kompilierten und architekturspezifischen Conda-Pakets.

• Sicherstellen, dass alle CloudPickleSerializer.loads in TCM nicht fertiggestellt sind.

• Einschließen von OSS-SQL-Tests, die mit der WITH-Klausel beginnen.

• Kein Hochladen von Spark-Jars beim Ausführen des Servers für pyt.

• Aktualisierung der Anzahl interner Abfragen.

Fehlerkorrekturen¶

• Probleme mit Tests für tcm behoben.

• Problem mit Diskrepanz beim CSV-Spaltennamen für Spark behoben.

• Verwendung von Typcache für leere Frames.

• Lösen allgemeiner Probleme mit Windows-OSS-Runner.

Verbesserungen¶

• Generieren eindeutiger Workload-Namen.

Bug Fixes¶

• Problem beim Lesen von Stagingdateien behoben.

Neue Features¶

• Parameter für Strategien zur Ansichtserstellung hinzugefügt.

• Support-Zeichenfolge <-> Jahr, Monat, Intervall.

• Unterstützung mehrerer Pivot-Spalten und -Aliasse für Pivot-Werte in Spark SQL.

• Integration von OpenTelemetry-Bereichs- und Ablaufverfolgungen.

Verbesserungen¶

Keine.

Fehlerkorrekturen¶

• Abschließender Schrägstrich für Befehl zum Entfernen hinzugefügt.

• Problem durch ungültiges GROUP BY bei Aggregationsfunktion und Nilary-Funktionen.

• Notizbuch überschreitet maximale gRPC-Nachrichtengröße.

• Problem bei der Erstellung temporärer Ansichten mit kollidierenden Namen behoben.

• array_size mit Null-Argument.

• Problem beim $.0 JSON-Array-Zugriff in der get_json_object-Funktion behoben.

• Problem mit ANTI- und SEMI LEFT-Self-Joins behoben.

• Umgang mit verschiedenen Typen in SQL-Funktionsbereich.

• Beschreibung der temporären Ansicht korrigiert.

Neue Features¶

• rowToInferSchema für CSV-Lesevorgänge hinzugefügt.

• Unterstützung von INSERT INTO mit dem CTE SQL-Befehl.

• E/A-Änderungen zum Hinzufügen von _SUCCESS-Dateigenerierung und Filtern von Metadatendateien.

• update(submit): Support installing Snowpark Connect for Spark in the Snowpark Submit client container.

Verbesserungen¶

Keine.

Fehlerkorrekturen¶

• Problem mit _SUCCESS-Pfadaktualisierung behoben.

• Aktualisierung bzgl. Fehler bei fehlgeschlagenem Entfernen.

• Sequenzfunktion, die ganzzahlige Typen als Eingaben unterstützt.

• Problem mit Typen in leerem CreateTempViewUsing behoben.

• Problem mit Neupartitionierung von Parquet-Dateien beim Schreiben behoben.

• Korrekte Auflösung der Aliasse in ORDER BY-Klauseln.

• Sitzungsparameter für temporären Bereich entfernt.

• Korrektur mehrerer Self-Joins mit Join-Bedingung.

• Problem mit Auflösung von Spaltennamen in Pivot behoben.

• SQL-Parser berücksichtigt Zeitzone der Sitzung.

• Intervalltyp-Zwang mit anderen Typen.

• Problem mit verschachtelten CTEs behoben.

• Verbesserte Auflösung qualifizierter Namen in Spark.

Neue Features¶

• Skript hinzugefügt, um es auf der Ausgabe der Git-Aktion für die Zusammenführung von SQLs auszuführen.

• --rebuild-whl-Parameter für die Notizbuch-Testausführung hinzugefügt.

• Unterstützung für beide Qualifizierer nach dem Join hinzugefügt.

Verbesserungen¶

Keine.

Fehlerkorrekturen¶

• Unterstützung von Escape-Parametern in SQL LIKE-Befehlen.

• Überschreibungsfehler in Partitionen.

• Validierung der Spaltenanzahl bei INSERT.

• Inkompatibilität für pow mit NAN.

• Cross-JOIN mit Bedingung.

• Spaltenzuordnungslogik in verschachtelten Abfragen.

• Fehlermeldung für Intervalltest aktualisiert.

• Zeichenfolgentypzwang bei Set Operation UNION und EXCEPT, Erzwingen NUMERIC, DATE, DATETIME in STRING.

• Snowpark-Spalten nach vollständigem Outer Self JOIN korrekt aufgelöst.

• Ausdruck in der Aggregatfunktion ergibt möglicherweise null Verbesserung.

• Aktualisierung: Zurücksetzen von „[SCOS GA BUG] string type coercion in set opera“

• DataFrame-Verbindung von Dezimaltyp-Spalten wird jetzt bei Bedarf erweitert.

• Zeichenfolgentypzwang bei Set Operation UNION und EXCEPT, Erzwingen NUMERIC, DATE, DATETIME in STRING (Teil 1).

• Problem mit nicht vorhandenem Objekt in TCM behoben.

• to_binary(x, 'hex') korrigiert, bei dem x eine ungerade Anzahl von Buchstaben und Ziffern aufwies.

• Problem von Joins mit leeren Tabellen behoben.

• Problem mit HAVING-Klausel behoben, um Gruppierungsspalten Vorrang vor aggregierten Aliassen mit demselben Namen zu geben.

Neue Features¶

• Unterstützung für RepairTable

• jdk4py wird zur optionalen Abhängigkeit von Snowpark Connect for Spark zur Vereinfachung der Konfiguration von Java Home für Endbenutzende.

• Unterstützung für zusätzliche Fälle von Intervalltypen.

Verbesserungen¶

Keine.

Fehlerkorrekturen¶

• Problem mit Join wurde durch Überarbeitung von Qualifizierern behoben

• Problem mit percentile_cont wurde so korrigiert, dass Ausdrücke für Filter und die Sortierreihenfolge unterstützt werden.

• histogram_numeric UDAF wurde korrigiert.

• Das Problem mit der COUNT-Funktion beim Aufruf mit mehreren Argumenten wurde behoben.

Neue Features¶

• Es wurde Unterstützung für Ausdrücke in der GROUP BY-Klausel (bei expliziter Auswahl der Klausel) hinzugefügt.

• Fehlermeldungen wurden um Fehlercodes ergänzt, um die Suche zu erleichtern.

Verbesserungen¶

Keine.

Fehlerkorrekturen¶

• Problem mit der nicht unterstützten Umwandlung der Fensterfunktion wurde behoben.