Snowpark Connect for Spark-Versionshinweise 2025¶

Neue Features¶

• Parameter für Strategien zur Ansichtserstellung hinzugefügt.

• Support-Zeichenfolge <-> Jahr, Monat, Intervall.

• Unterstützung mehrerer Pivot-Spalten und -Aliasse für Pivot-Werte in Spark SQL.

• Integration von OpenTelemetry-Bereichs- und Ablaufverfolgungen.

Verbesserungen¶

Keine.

Fehlerkorrekturen¶

• Abschließender Schrägstrich für Befehl zum Entfernen hinzugefügt.

• Problem durch ungültiges GROUP BY bei Aggregationsfunktion und Nilary-Funktionen.

• Notizbuch überschreitet maximale gRPC-Nachrichtengröße.

• Problem bei der Erstellung temporärer Ansichten mit kollidierenden Namen behoben.

• array_size mit Null-Argument.

• Problem beim $.0 JSON-Array-Zugriff in der get_json_object-Funktion behoben.

• Problem mit ANTI- und SEMI LEFT-Self-Joins behoben.

• Umgang mit verschiedenen Typen in SQL-Funktionsbereich.

• Beschreibung der temporären Ansicht korrigiert.

Neue Features¶

• rowToInferSchema für CSV-Lesevorgänge hinzugefügt.

• Unterstützung von INSERT INTO mit dem CTE SQL-Befehl.

• E/A-Änderungen zum Hinzufügen von _SUCCESS-Dateigenerierung und Filtern von Metadatendateien.

• update(submit): Unterstützung der Installation von Snowpark Connect for Spark im Snowpark Submit-Client-Container.

Verbesserungen¶

Keine.

Fehlerkorrekturen¶

• Problem mit _SUCCESS-Pfadaktualisierung behoben.

• Aktualisierung bzgl. Fehler bei fehlgeschlagenem Entfernen.

• Sequenzfunktion, die ganzzahlige Typen als Eingaben unterstützt.

• Problem mit Typen in leerem CreateTempViewUsing behoben.

• Problem mit Neupartitionierung von Parquet-Dateien beim Schreiben behoben.

• Korrekte Auflösung der Aliasse in ORDER BY-Klauseln.

• Sitzungsparameter für temporären Bereich entfernt.

• Korrektur mehrerer Self-Joins mit Join-Bedingung.

• Problem mit Auflösung von Spaltennamen in Pivot behoben.

• SQL-Parser berücksichtigt Zeitzone der Sitzung.

• Intervalltyp-Zwang mit anderen Typen.

• Problem mit verschachtelten CTEs behoben.

• Verbesserte Auflösung qualifizierter Namen in Spark.

Neue Features¶

• Skript hinzugefügt, um es auf der Ausgabe der Git-Aktion für die Zusammenführung von SQLs auszuführen.

• --rebuild-whl-Parameter für die Notizbuch-Testausführung hinzugefügt.

• Unterstützung für beide Qualifizierer nach dem Join hinzugefügt.

Verbesserungen¶

Keine.

Fehlerkorrekturen¶

• Unterstützung von Escape-Parametern in SQL LIKE-Befehlen.

• Überschreibungsfehler in Partitionen.

• Validierung der Spaltenanzahl bei INSERT.

• Inkompatibilität für pow mit NAN.

• Cross-JOIN mit Bedingung.

• Spaltenzuordnungslogik in verschachtelten Abfragen.

• Fehlermeldung für Intervalltest aktualisiert.

• Zeichenfolgentypzwang bei Set Operation UNION und EXCEPT, Erzwingen NUMERIC, DATE, DATETIME in STRING.

• Snowpark-Spalten nach vollständigem Outer Self JOIN korrekt aufgelöst.

• Ausdruck in der Aggregatfunktion ergibt möglicherweise null Verbesserung.

• Aktualisierung: Zurücksetzen von „[SCOS GA BUG] string type coercion in set opera“

• DataFrame-Verbindung von Dezimaltyp-Spalten wird jetzt bei Bedarf erweitert.

• Zeichenfolgentypzwang bei Set Operation UNION und EXCEPT, Erzwingen NUMERIC, DATE, DATETIME in STRING (Teil 1).

• Problem mit nicht vorhandenem Objekt in TCM behoben.

• to_binary(x, 'hex') korrigiert, bei dem x eine ungerade Anzahl von Buchstaben und Ziffern aufwies.

• Problem von Joins mit leeren Tabellen behoben.

• Problem mit HAVING-Klausel behoben, um Gruppierungsspalten Vorrang vor aggregierten Aliassen mit demselben Namen zu geben.

Neue Features¶

• Unterstützung für RepairTable

• jdk4py wird zur optionalen Abhängigkeit von Snowpark Connect for Spark zur Vereinfachung der Konfiguration von Java Home für Endbenutzende.

• Unterstützung für zusätzliche Fälle von Intervalltypen.

Verbesserungen¶

Keine.

Fehlerkorrekturen¶

• Problem mit Join wurde durch Überarbeitung von Qualifizierern behoben

• Problem mit percentile_cont wurde so korrigiert, dass Ausdrücke für Filter und die Sortierreihenfolge unterstützt werden.

• histogram_numeric UDAF wurde korrigiert.

• Das Problem mit der COUNT-Funktion beim Aufruf mit mehreren Argumenten wurde behoben.

Neue Features¶

• Es wurde Unterstützung für Ausdrücke in der GROUP BY-Klausel (bei expliziter Auswahl der Klausel) hinzugefügt.

• Fehlermeldungen wurden um Fehlercodes ergänzt, um die Suche zu erleichtern.

Verbesserungen¶

Keine.

Fehlerkorrekturen¶

• Problem mit der nicht unterstützten Umwandlung der Fensterfunktion wurde behoben.