Notes de version de Snowflake Connector for Spark pour 2023

Cet article contient les notes de version Snowflake Connector for Spark, y compris les éléments suivants, le cas échéant :

  • Changements de comportement

  • Nouvelles fonctionnalités

  • Corrections de bogues pour les clients

Snowflake utilise la version sémantique pour les mises à jour Snowflake Connector for Spark.

Version 2.12.0 (23 mai 2023)

Note

À partir de cette version (2.12.0), le connecteur Snowflake pour Spark ne prend plus en charge Spark 3.1, mais continue de prendre en charge les versions 3.2, 3.3 et 3.4. Les versions précédentes du connecteur continuent de prendre en charge Spark 3.1.

Nouvelles fonctionnalités

  • Ajout de la prise en charge de Spark 3.4.

  • Intégré et testé avec le pilote JDBC Snowflake, version 3.13.30.

Corrections de bogues

  • Aucun.

Version 2.11.3 (21 avril 2023)

Nouvelles fonctionnalités

  • Mise à jour du mécanisme d’écriture de DataFrames dans les comptes sur GCP. Après décembre 2023, les versions antérieures du connecteur Spark ne seront plus en mesure d’écrire de DataFrames, en raison des modifications apportées à GCP.

  • Ajout de l’option permettant de désactiver la validation de preactions et postactions pour le partage de session.

    Pour désactiver la validation, définissez l’option FORCE_SKIP_PRE_POST_ACTION_CHECK_FOR_SHARED_SESSION sur true. La valeur par défaut est false.

    Important

    Avant de définir cette option, assurez-vous que les requêtes dans preactions et postactions n’affectent pas les paramètres de la session. Dans le cas contraire, vous risquez de rencontrer des problèmes au niveau des résultats.

Corrections de bogues

  • Correction d’un problème lors de l’exécution d’une jointure ou d’une union entre différents schémas lorsque les deux DataFrames accèdent

  • à des tables avec des sfSchema différents et que la table avec le même nom dans sfSchema se trouve dans la partie gauche DataFrame.

Version 2.11.2 (21 mars 2023)

Nouvelles fonctionnalités

  • Ajout de la prise en charge du partage d’une connexion JDBC.

    Le connecteur Snowflake pour Spark peut désormais utiliser la même connexion JDBC pour différentes tâches et différents accès lorsque le client utilise les mêmes options de connexion pour accéder à Snowflake. Auparavant, le connecteur Spark créait une nouvelle connexion JDBC pour chaque tâche ou action.

    Le connecteur Spark prend en charge les options suivantes et les méthodes d’API pour activer et désactiver cette fonction :

    • Pour spécifier que le connecteur ne doit pas utiliser la même connexion JDBC, définissez l’option de connecteur support_share_connection sur false. (La valeur par défaut est true, ce qui signifie que la fonction est activée)

    • Pour activer ou désactiver la fonction de manière programmatique, appelez l’une des fonctions statiques globales suivantes : SparkConnectorContext.disableSharedConnection() et SparkConnectorContext.enableSharingJDBCConnection().

    Note

    Dans les cas particuliers suivants, le connecteur Spark n’utilisera pas la connexion partagée :

    • Si preactions ou postactions sont définis et que preactions ou postactions ne sont pas CREATE TABLE, DROP TABLE ou MERGE INTO, le connecteur Spark n’utilisera pas la connexion partagée.

    • Les fonctions utilitaires dans Utils, telles que Utils.runQuery() et Utils.getJDBCConnection(), n’utilisent pas la connexion partagée.

  • Mise à jour du connecteur pour utiliser le pilote JDBC Snowflake 3.13.29.

Corrections de bogues

  • Aucun.

Langage: Français