Notes de version de Snowpark Connect for Spark pour 2026

Snowflake utilise la version sémantique pour les mises à jour Snowpark Connect for Spark.

Pour la documentation, voir Exécuter les charges de travail Apache Spark™ sur Snowflake avec Snowpark Connect for Spark et Exécuter des charges de travail Spark par lots à partir de Snowpark Submit.

1.10.0 (22 janvier 2026)

Snowpark Connect for Spark

Corrections de bogues

  • Correction d’une erreur non définie pour la configuration de session.

  • Utilisation de la copie pour charger des fichiers CSV en parallèle.

  • Correction des écritures pour les DataFrames en utilisant des jointures externes.

  • Gestion des valeurs nulles dans les UDFs Scala.

  • Optimisation de la génération de requêtes CTE avec la protection des paramètres.

  • Conversion bloquée des arguments de DATEDIFF.

  • Correction de l’ajout de fichiers partitionnés et la lecture de partitions nulles.

  • Amélioration des performances par 10 pour la conversion entre les bases 10 et 16 à l’aide de SQL.

Nouvelles fonctionnalités

  • Remplacement uniquement des partitions modifiées pour les fichiers Parquet.

Autres mises à jour

  • Logique mise à jour pour détecter si Snowpark Connect for Spark est exécuté sur XP.

  • Prise en charge de l’écriture dans une table avec un type de données VARIANT dans Snowflake.

  • Suppression des journaux d’informations inutiles.

  • Déplacement des tests Java de la tâche de tests Scala vers une tâche distincte.

  • Mise à jour de la version de la dépendance pour gcsfs.

Snowpark Submit

Aucun.

1.9.0 (14 janvier 2026)

Snowpark Connect for Spark

Corrections de bogues

  • Correction de la sérialisation des tuples Scala.

  • Correction du chargement de JSON fichiers volumineux.

  • Implémentation de petits correctifs pour les problèmes des clients.

  • Implémentation des corrections pour les comparaisons de structures.

  • Ajout du traitement des DataFrames pour la colonne 0.

  • Correction du chemin de chargement des fichiers.

  • Correction de Upload_files_if_needed ne s’exécutant pas en parallèle.

  • Amélioration de l’inférence de type d’entrée lorsque les types d’entrée UDF ne sont pas définis dans le proto.

  • Correction des cas Edge NA.

Nouvelles fonctionnalités

  • Prise en charge de la lecture d’un fichier JSON BZ2.

  • Prise en charge des UDFs Scala dans Snowpark Connect for Spark côté serveur.

  • Implémentation d’une conversion entre la chaîne et daytime.

  • Ajout de la prise en charge des UDFs Scala dans group_map.

Snowpark Submit

Corrections de bogues

  • Réduction des noms de charge de travail générés.

1.8.0 (07 janvier 2026)

Snowpark Connect for Spark

Corrections de bogues

  • Correction du traitement JAVA_HOME pour Windows.

Nouvelles fonctionnalités

  • Prise en charge de la source de données neo4j via JDBC.

Snowpark Submit

Aucun.