Notes de version de Snowpark Connect for Spark pour 2025¶

Nouvelles fonctionnalités¶

• Ajout d’un paramètre pour les stratégies de création de vues.

• Prise en charge de la chaîne <-> pour l’intervalle année-mois.

• Prise en charge de plusieurs colonnes pivot et alias pour les valeurs pivot dans Spark SQL.

• Intégration des intervalles et des traces OpenTelemetry.

Améliorations¶

Aucun.

Corrections de bogues¶

• Ajout d’une barre oblique de fin pour la commande de suppression.

• Problème GROUP BY non valide avec la fonction d’agrégation et les fonctions nilaires.

• Le notebook dépasse la taille maximale de message gRPC.

• Correction de la création de vues temporaires avec des noms conflictuels.

• array_size avec un argument null.

• Correction de l’accès aux tableaux $.0 JSON dans la fonction get_json_object.

• Correction des auto-jointures ANTI et SEMI LEFT.

• Gestion de différents types dans la plage de fonctions SQL.

• Correction de la description des vues temporaires.

Nouvelles fonctionnalités¶

• Ajout de rowToInferSchema pour la lecture CSV.

• Prise en charge de INSERT INTO avec la commande SQL CTE.

• Modifications des E/S pour ajouter la génération de fichiers _SUCCESS et le filtrage des fichiers de métadonnées.

• update(submit) : Prise en charge de l’installation de Snowpark Connect for Spark dans le conteneur client Snowpark Submit.

Améliorations¶

Aucun.

Corrections de bogues¶

• Correction de la mise à jour du chemin _SUCCESS.

• Renvoi d’une erreur en cas d’échec de la mise à jour lors de la suppression.

• Fonction de séquence prenant en charge les entrées de types intégrés.

• Correction des types dans CreateTempViewUsing vide.

• Correction du repartitionnement des fichiers Parquet en écriture.

• Résolution correcte des alias dans la clause ORDER BY.

• Suppression du paramètre de session temporaire de la portée.

• Correction de plusieurs auto-jointures avec condition de jointure.

• Correction de la résolution des noms de colonnes dans le pivot.

• Analyseur SQL tenant compte du fuseau horaire de la session.

• Coercition du type intervalle avec d’autres types.

• Correction de problèmes liés aux CTEs imbriquées.

• Amélioration de la résolution des noms qualifiés dans Spark.

Nouvelles fonctionnalités¶

• Ajout d’un script à exécuter sur la sortie de l’action Git pour la fusion des SQLs.

• Ajout d’un paramètre --rebuild-whl à l’exécuteur de tests des notebooks.

• Ajout de la prise en charge des deux qualificatifs après la jointure.

Améliorations¶

Aucun.

Corrections de bogues¶

• Prise en charge du paramètre d’échappement dans les commandes SQL LIKE.

• Bug de réécriture dans les partitions.

• Validation du nombre de colonnes sur INSERT.

• Incompatibilité de pow avec NAN.

• JOIN croisée avec condition.

• Logique d’attribution des colonnes dans les requêtes imbriquées.

• Mise à jour du message d’erreur pour le test d’intervalle.

• Coercition du type chaîne dans l’opération d’ensemble UNION et EXCEPT. Coercition de NUMERIC, DATE, DATETIME en STRING.

• Résolution correcte des colonnes Snowpark après une auto-JOIN externe complète.

• L’expression dans la fonction d’agrégation peut ne présenter aucune amélioration.

• Mise à jour : Annulation de la « coercition du type chaîne dans l’opération d’ensemble [SCOS GA BUG] »

• L’union DataFrame des colonnes de type décimal est désormais élargie selon les besoins.

• Coercition du type chaîne dans l’opération d’ensemble UNION et EXCEPT. Coercition de NUMERIC, DATE, DATETIME en STRING (part1).

• Problème d’objet inexistant dans TCM.

• Correction de to_binary(x, 'hex') où x comporte un nombre impair de lettres et de chiffres.

• Correction des jointures avec des tables vides.

• Correction de la clause HAVING pour donner la priorité aux colonnes de regroupement sur les alias agrégés portant le même nom.

Nouvelles fonctionnalités¶

• Prise en charge pour RepairTable

• Faites de jdk4py une dépendance facultative de Snowpark Connect for Spark pour simplifier la configuration de l’accueil Java pour les utilisateurs finaux.

• Prise en charge d’un plus grand nombre de cas de type intervalle.

Améliorations¶

Aucun.

Corrections de bogues¶

• Correction des problèmes Join en refactorisant les qualificatifs

• Correction de percentile_cont pour autoriser les expressions de filtrage et d’ordre de tri.

• Correction de histogram_numeric UDAF.

• Correction de la fonction COUNT lorsqu’elle est appelée avec plusieurs arguments.

Nouvelles fonctionnalités¶

• Ajout de la prise en charge des expressions dans la clause GROUP BY lorsque la clause est explicitement sélectionnée.

• Ajout des codes d’erreur aux messages d’erreur pour une meilleur résolution des problèmes.

Améliorations¶

Aucun.

Corrections de bogues¶

• Correction du problème de conversion non prise en charge de la fonction de fenêtre.