Notes de version de Snowpark Connect for Spark pour 2025¶

Nouvelles fonctionnalités¶

• Support any type as output or input type in the Scala map and flatmap functions.

• Support joinWith.

• Support any return type in Scala UDFs.

• Support registerJavaFunction.

Corrections de bogues¶

• Fix JSON schema inference issue for JSON reads from Scala.

• Change return types of functions returning incorrect integral types.

• Fix update fields bug with struct type.

• Fix unbounded input decoder.

• Fix struct function when the argument is unresolved_star.

• Fix column name for Scala UDFs when the proto contains no function name.

• Add support for PATTERN in Parquet format.

• Handle error and errorIfExists write modes.

Améliorations¶

Aucun.

Nouvelles fonctionnalités¶

• Bump snowflake-connector-python to <4.2.0.

• Add basic support for single-column map and flatMap operations on Scala datasets.

• Iceberg writing support TargetFileSize and PartitionBy.

Corrections de bogues¶

• Make SAS server initialization synchronous.

• Use snowpark-connect-deps-1==3.56.3.

• Fix saveAsTable with input_filename columns.

• Remove duplicated reading of the cache in Scala UDFs.

• Increase recursion limit.

• Fix format_number.

• Fix infer schema when query is provided in JDBC read.

• Only lock dict operation in cache.py to improve performance.

• Fix grouped data tests.

• Throw more detailed errors on table and read/write operations.

Améliorations¶

Aucun.

Nouvelles fonctionnalités¶

• Introduce reduce function for Scala.

Améliorations¶

Aucun.

Corrections de bogues¶

• Fix failing array insert for nullable elements.

• Throw correct error on non-numeric args in covariance.

Nouvelles fonctionnalités¶

• Support filter on a simple (single column) Dataset.

• Support Azure scheme URL parsing and special character file name.

Corrections de bogues¶

• Fix « Dataframe has no attribute dataframe » error in Scala catalog API.

• Fix aliases in subquery, document not working subqueries.

• Fix plan_id resolution after joins.

• Fix meta.yaml for multi-py versions.

• Enable use_vectorized_scanner as map type from parquet file was error.

• CSV reading inferSchema option specify datatype.

• Fix substr function handling of negative length.

• Use cached file formats in read_parquet.

• Improve local relation performance.

• Generate summary _common_metadata for parquet files.

• Remove repetitive setSchema, setRole, etc, for Snowflake pushdown.

Améliorations¶

Aucun.

Nouvelles fonctionnalités¶

• Relax version requirements for grpcio and aiobotocore.

Améliorations¶

• Specify dependencies version in meta.yaml.

• Build compiled and architecture-specific conda package.

• Ensure all CloudPickleSerializer.loads are not done in TCM.

• Include OSS SQL tests that start with the WITH clause.

• Do not upload Spark jars when running the server for pyt.

• Update internal queries count.

Corrections de bogues¶

• Fix tests for tcm.

• Fix CSV column name discrepancy from Spark.

• Use type cache for empty frames.

• Resolve Windows OSS runner general issues.

Améliorations¶

• Generate unique workload names.

Bug Fixes¶

• Fix staged file reading.

Nouvelles fonctionnalités¶

• Ajout d’un paramètre pour les stratégies de création de vues.

• Prise en charge de la chaîne <-> pour l’intervalle année-mois.

• Prise en charge de plusieurs colonnes pivot et alias pour les valeurs pivot dans Spark SQL.

• Intégration des intervalles et des traces OpenTelemetry.

Améliorations¶

Aucun.

Corrections de bogues¶

• Ajout d’une barre oblique de fin pour la commande de suppression.

• Problème GROUP BY non valide avec la fonction d’agrégation et les fonctions nilaires.

• Le notebook dépasse la taille maximale de message gRPC.

• Correction de la création de vues temporaires avec des noms conflictuels.

• array_size avec un argument null.

• Correction de l’accès aux tableaux $.0 JSON dans la fonction get_json_object.

• Correction des auto-jointures ANTI et SEMI LEFT.

• Gestion de différents types dans la plage de fonctions SQL.

• Correction de la description des vues temporaires.

Nouvelles fonctionnalités¶

• Ajout de rowToInferSchema pour la lecture CSV.

• Prise en charge de INSERT INTO avec la commande SQL CTE.

• Modifications des E/S pour ajouter la génération de fichiers _SUCCESS et le filtrage des fichiers de métadonnées.

• update(submit): Support installing Snowpark Connect for Spark in the Snowpark Submit client container.

Améliorations¶

Aucun.

Corrections de bogues¶

• Correction de la mise à jour du chemin _SUCCESS.

• Renvoi d’une erreur en cas d’échec de la mise à jour lors de la suppression.

• Fonction de séquence prenant en charge les entrées de types intégrés.

• Correction des types dans CreateTempViewUsing vide.

• Correction du repartitionnement des fichiers Parquet en écriture.

• Résolution correcte des alias dans la clause ORDER BY.

• Suppression du paramètre de session temporaire de la portée.

• Correction de plusieurs auto-jointures avec condition de jointure.

• Correction de la résolution des noms de colonnes dans le pivot.

• Analyseur SQL tenant compte du fuseau horaire de la session.

• Coercition du type intervalle avec d’autres types.

• Correction de problèmes liés aux CTEs imbriquées.

• Amélioration de la résolution des noms qualifiés dans Spark.

Nouvelles fonctionnalités¶

• Ajout d’un script à exécuter sur la sortie de l’action Git pour la fusion des SQLs.

• Ajout d’un paramètre --rebuild-whl à l’exécuteur de tests des notebooks.

• Ajout de la prise en charge des deux qualificatifs après la jointure.

Améliorations¶

Aucun.

Corrections de bogues¶

• Prise en charge du paramètre d’échappement dans les commandes SQL LIKE.

• Bug de réécriture dans les partitions.

• Validation du nombre de colonnes sur INSERT.

• Incompatibilité de pow avec NAN.

• JOIN croisée avec condition.

• Logique d’attribution des colonnes dans les requêtes imbriquées.

• Mise à jour du message d’erreur pour le test d’intervalle.

• Coercition du type chaîne dans l’opération d’ensemble UNION et EXCEPT. Coercition de NUMERIC, DATE, DATETIME en STRING.

• Résolution correcte des colonnes Snowpark après une auto-JOIN externe complète.

• L’expression dans la fonction d’agrégation peut ne présenter aucune amélioration.

• Mise à jour : Annulation de la « coercition du type chaîne dans l’opération d’ensemble [SCOS GA BUG] »

• L’union DataFrame des colonnes de type décimal est désormais élargie selon les besoins.

• Coercition du type chaîne dans l’opération d’ensemble UNION et EXCEPT. Coercition de NUMERIC, DATE, DATETIME en STRING (part1).

• Problème d’objet inexistant dans TCM.

• Correction de to_binary(x, 'hex') où x comporte un nombre impair de lettres et de chiffres.

• Correction des jointures avec des tables vides.

• Correction de la clause HAVING pour donner la priorité aux colonnes de regroupement sur les alias agrégés portant le même nom.

Nouvelles fonctionnalités¶

• Prise en charge pour RepairTable

• Faites de jdk4py une dépendance facultative de Snowpark Connect for Spark pour simplifier la configuration de l’accueil Java pour les utilisateurs finaux.

• Prise en charge d’un plus grand nombre de cas de type intervalle.

Améliorations¶

Aucun.

Corrections de bogues¶

• Correction des problèmes Join en refactorisant les qualificatifs

• Correction de percentile_cont pour autoriser les expressions de filtrage et d’ordre de tri.

• Correction de histogram_numeric UDAF.

• Correction de la fonction COUNT lorsqu’elle est appelée avec plusieurs arguments.

Nouvelles fonctionnalités¶

• Ajout de la prise en charge des expressions dans la clause GROUP BY lorsque la clause est explicitement sélectionnée.

• Ajout des codes d’erreur aux messages d’erreur pour une meilleur résolution des problèmes.

Améliorations¶

Aucun.

Corrections de bogues¶

• Correction du problème de conversion non prise en charge de la fonction de fenêtre.