Notes de version de Snowpark Connect for Spark pour 2026¶

Inférence de compression JSON etCSV.

Correction pour coalesce qui générait un seul fichier.

Réorganisation de la lecture JSON pour utiliser COPY INTO lors de la lecture d’un seul fichier et ajouter l’inférence de schéma VariantType.

Autoriser le chargement JSON sans schéma explicite.

Correction de multi_line dans JSON.

Correction du schéma d’inférence JSON pour éviter d’analyser des fichiers entiers.

Gérer correctement la conversion vers l’horodatage ltz.

Limitation de la valeur de hachage renvoyée.

Correction de repartition avec partitionBy.

Correction pour utiliser l’en-tête de section [connections.spark-connect] dans config.toml.

Conversion des jetons Java au format date/timestamp en équivalents Snowflake pour les lectures de fichiers CSV.

Calcul du schéma des fonctions pivot.

Correction des UDTFs dans les jointures latérales avec aliasing.

Alignement du résultat de la commande SQL SET.

Correction du type de retour pour les fonctions CEIL et FLOOR.

Amélioration de la génération de requêtes dans unbase64 v2.

Correction de certaines des options du mappage Snowflake pour CSV.

Correction de la sérialisation pour POJO.

Amélioration des messages d’erreur d’en-tête CSV.

Amélioration de la logique de détection mapType avec:code:try_cast pour les lectures de fichiers Parquet.

Prise en charge de reduceGroups API.

Prise en charge de la spécification du nom de connexion dans init_spark_session.

Ajout d’un paramètre de configuration pour utiliser UDF pour unbase64.

Optimisation de la génération SQL dans la fonction unbase64.

Correction de la régression from_json

Correction concernant les enregistrements qui s’étendent sur plusieurs limites de blocs de compression BZ2

Correction du mappage de nullabilité dans un attribut non résolu

Initialisation d’une session spark-connect avec une connexion quelconque, et non uniquement avec une connexion nommée spark-connect

Ajout de la validation d’options XML

Suppression de l’option CSV ESCAPE lorsqu’elle correspond au caractère guillemet pour éviter les erreurs de compilation

Correction de la conversion incorrecte des tuples nommés dans productEncoder

Vérifier que mergeSchema pour CSV et JSON n’est pas pris en charge

Correction de l’aller-retour de type complexe Parquet (écriture + lecture)

Correction du schéma pour pivot/unpivot

Correction du type de retour pour les fonctions MOD et PMOD

Correction de l’extraction d’en-têtes CSV pour les fichiers dont les lignes d’en-tête sont vides

Vérifier correctement les fuseaux horaires et remplacer la sérialisation des dates et heures sous forme de chaînes de caractères par une sérialisation basée sur l’époque

Mise à jour de la vérification de la version Java pour Windows

Aplatir les appels withColumn imbriqués

Modifier la logique pour Literal _IntegralType dans les opérations d’addition et de soustraction

Retour de LongType pour les fonctions COUNT

Lecture JSON : test de compression = bz2/bzip2/aucun

Amélioration des performances de to_varchar/to_char

Améliorer la comparaison lors des tests d’E/S

Définir multi_line sur False par défaut pour la copie JSON

Lancer une erreur sur un pool de calcul non spécifié.

Suppression de l’analyse des résultats lors de l’appel de df.count()

S’assurer que le schéma d’inférence s’exécute sur des lignes limitées lors de la lecture JSON

Correction de createDataFrame pour les types d’intervalle

Modification de la logique de Literal _IntegralType dans les opérations de multiplication et de division

Élargir et imposer le type pour les opérations Set

Correction de la prise en charge des étiquettes multiples neo4j

Modification des métadonnées JAR afin que Grype ne détecte pas la vulnérabilité de Netty

Renvoi du type correct pour la fonction ANY_VALUE

Renvoi du type élargi pour la séquence

Ajout de la prise en charge de la configuration spark.sql.parquet.inferTimestampNTZ.enabled

Renommage/conversion de colonnes par lots en _validate_schema_and_get_writer

Blocage de JDBC lors de requêtes partitionnées avec une taille de récupération spécifiée

Renvoi d’un message d’exception tronqué lorsqu’il dépasse les limites de l’en-tête HTTP

Correction de map_type_to_snowflake_type pour BigDecimal

Correction de la précision décimale littérale et de l’échelle

Amélioration de la génération aléatoire de chaînes

Faire en sorte que le chargement des fichiers JSON compressés au format BZ2 ignore les enregistrements corrompus

Utiliser des fichiers en zone de préparation issus de la configuration des UDFs Scala

Utiliser TRY_CAST permissif lors de la lecture JSON

Rendre le nombre de threads du serveur configurable

Réintégrer init_spark_session() dans les tests

Mettre à jour la sortie de ligne de commande snowpark-submit pour clarifier snowflake-connection-name est nécessaire.

Mise en cache du type de table lors de l’exécution de saveAsTable

Optimisation de l’entrée littérale pour la sous-chaîne et le casting de type pour coalesce

Gestion du débordement décimal dans avg/mean et correction de la coercition du type décimal

Iceberg - Préservation des autorisations en cas de réécriture

Normalisation du mode SQL intermédiaire

Optimisation de from_utc_timestamp/to_utc_timestamp pour le fuseau horaire littéral

Gestion des valeurs JSON nulles dans les types structurés pour correspondre à la sémantique Spark

Émulation des types intégraux lors de la création de tables à partir de SQL

Correction d’un cas périphérique lors du mappage de lignes imbriquées dans les UDFs Scala

Correction de la façon dont Parquet gère la lecture et l’écriture de types de données structurés complexes

Prise en charge de l’enregistrement de l’argument ignoré pour les fichiers Parquet

Ajout de la prise en charge du dépôt d’artefacts

Correction de la nullabilité des tableaux dans les UDxF Scala

Correction de log1p pour les arguments de la plage (-1, 0)

Correction de first_value et last_value dans le contexte agrégé

Correction de la lecture de DayTimeIntervalType pour le client Scala

Gestion correcte des fuseaux horaires dans les UDFs Scala

Prise en charge de Java 11 et 17 sans aucune configuration

Prise en charge de snowpark-submit pour Python 3.9

Amélioration de init_spark_session pour le rendre utilisable dans le flux de travail snowpark-submit

Correction d’un problème lié à la fonction split

Mise à niveau de la dépendance snowflake-snowpark-python vers la version 1.44

Correction de la correspondance des dialectes Neo4j pour améliorer la traduction SQL

Correction de l’ID d’opération renvoyé dans les réponses d’exécution à des fins de cohérence

Correction du traitement des métadonnées gRPC pour les connexions de canaux TCP

Ajout de la prise en charge de partition_hint dans les opérations mapPartitions

Ajout de la prise en charge du lecteur XML pour les scénarios avec des schémas définis par l’utilisateur

Préservation des colonnes masquées après divers opérateurs DataFrame

Correction de problèmes pour les types d’entrée udf scala (byte, binary, scala.math.BigDecimal)

Ajout des arguments définis par l’utilisateur snowpark-submit à des fins de commentaire

Correction d’une erreur non définie pour la configuration de session.

Utilisation de la copie pour charger des fichiers CSV en parallèle.

Correction des écritures pour les DataFrames en utilisant des jointures externes.

Gestion des valeurs nulles dans les UDFs Scala.

Optimisation de la génération de requêtes CTE avec la protection des paramètres.

Conversion bloquée des arguments de DATEDIFF.

Correction de l’ajout de fichiers partitionnés et la lecture de partitions nulles.

Amélioration des performances par 10 pour la conversion entre les bases 10 et 16 à l’aide de SQL.

Remplacement uniquement des partitions modifiées pour les fichiers Parquet.

Logique mise à jour pour détecter si Snowpark Connect for Spark est exécuté sur XP.

Prise en charge de l’écriture dans une table avec un type de données VARIANT dans Snowflake.

Suppression des journaux d’informations inutiles.

Déplacement des tests Java de la tâche de tests Scala vers une tâche distincte.

Mise à jour de la version de la dépendance pour gcsfs.

Correction de la sérialisation des tuples Scala.

Correction du chargement de JSON fichiers volumineux.

Implémentation de petits correctifs pour les problèmes des clients.

Implémentation des corrections pour les comparaisons de structures.

Ajout du traitement des DataFrames pour la colonne 0.

Correction du chemin de chargement des fichiers.

Correction de Upload_files_if_needed ne s’exécutant pas en parallèle.

Amélioration de l’inférence de type d’entrée lorsque les types d’entrée UDF ne sont pas définis dans le proto.

Correction des cas Edge NA.

Prise en charge de la lecture d’un fichier JSON BZ2.

Prise en charge des UDFs Scala dans Snowpark Connect for Spark côté serveur.

Implémentation d’une conversion entre la chaîne et daytime.

Ajout de la prise en charge des UDFs Scala dans group_map.

Réduction des noms de charge de travail générés.

Correction du traitement JAVA_HOME pour Windows.

Prise en charge de la source de données neo4j via JDBC.