Notes de version de Snowpark Connect for Spark pour 2026¶

Mise en cache du type de table lors de l’exécution de saveAsTable

Optimisation de l’entrée littérale pour la sous-chaîne et le casting de type pour coalesce

Gestion du débordement décimal dans avg/mean et correction de la coercition du type décimal

Iceberg - Préservation des autorisations en cas de réécriture

Normalisation du mode SQL intermédiaire

Optimisation de from_utc_timestamp/to_utc_timestamp pour le fuseau horaire littéral

Gestion des valeurs JSON nulles dans les types structurés pour correspondre à la sémantique Spark

Émulation des types intégraux lors de la création de tables à partir de SQL

Correction d’un cas périphérique lors du mappage de lignes imbriquées dans les UDFs Scala

Correction de la façon dont Parquet gère la lecture et l’écriture de types de données structurés complexes

Prise en charge de l’enregistrement de l’argument ignoré pour les fichiers Parquet

Ajout de la prise en charge du dépôt d’artefacts

Correction de la nullabilité des tableaux dans les UDxF Scala

Correction de log1p pour les arguments de la plage (-1, 0)

Correction de first_value et last_value dans le contexte agrégé

Correction de la lecture de DayTimeIntervalType pour le client Scala

Gestion correcte des fuseaux horaires dans les UDFs Scala

Prise en charge de Java 11 et 17 sans aucune configuration

Prise en charge de snowpark-submit pour Python 3.9

Amélioration de init_spark_session pour le rendre utilisable dans le flux de travail snowpark-submit

Correction d’un problème lié à la fonction split

Mise à niveau de la dépendance snowflake-snowpark-python vers la version 1.44

Correction de la correspondance des dialectes Neo4j pour améliorer la traduction SQL

Correction de l’ID d’opération renvoyé dans les réponses d’exécution à des fins de cohérence

Correction du traitement des métadonnées gRPC pour les connexions de canaux TCP

Ajout de la prise en charge de partition_hint dans les opérations mapPartitions

Ajout de la prise en charge du lecteur XML pour les scénarios avec des schémas définis par l’utilisateur

Préservation des colonnes masquées après divers opérateurs DataFrame

Correction de problèmes pour les types d’entrée udf scala (byte, binary, scala.math.BigDecimal)

Ajout des arguments définis par l’utilisateur snowpark-submit à des fins de commentaire

Correction d’une erreur non définie pour la configuration de session.

Utilisation de la copie pour charger des fichiers CSV en parallèle.

Correction des écritures pour les DataFrames en utilisant des jointures externes.

Gestion des valeurs nulles dans les UDFs Scala.

Optimisation de la génération de requêtes CTE avec la protection des paramètres.

Conversion bloquée des arguments de DATEDIFF.

Correction de l’ajout de fichiers partitionnés et la lecture de partitions nulles.

Amélioration des performances par 10 pour la conversion entre les bases 10 et 16 à l’aide de SQL.

Remplacement uniquement des partitions modifiées pour les fichiers Parquet.

Logique mise à jour pour détecter si Snowpark Connect for Spark est exécuté sur XP.

Prise en charge de l’écriture dans une table avec un type de données VARIANT dans Snowflake.

Suppression des journaux d’informations inutiles.

Déplacement des tests Java de la tâche de tests Scala vers une tâche distincte.

Mise à jour de la version de la dépendance pour gcsfs.

Correction de la sérialisation des tuples Scala.

Correction du chargement de JSON fichiers volumineux.

Implémentation de petits correctifs pour les problèmes des clients.

Implémentation des corrections pour les comparaisons de structures.

Ajout du traitement des DataFrames pour la colonne 0.

Correction du chemin de chargement des fichiers.

Correction de Upload_files_if_needed ne s’exécutant pas en parallèle.

Amélioration de l’inférence de type d’entrée lorsque les types d’entrée UDF ne sont pas définis dans le proto.

Correction des cas Edge NA.

Prise en charge de la lecture d’un fichier JSON BZ2.

Prise en charge des UDFs Scala dans Snowpark Connect for Spark côté serveur.

Implémentation d’une conversion entre la chaîne et daytime.

Ajout de la prise en charge des UDFs Scala dans group_map.

Réduction des noms de charge de travail générés.

Correction du traitement JAVA_HOME pour Windows.

Prise en charge de la source de données neo4j via JDBC.