Notes de version de Snowflake Connector for Spark pour 2024¶

Changements BCR (Version de changement de comportement)¶

À partir de la version 3.0.0, le Snowflake Connector for Spark a introduit les changements de rupture suivants :

• Suppression de la fonctionnalité de pushdown de requête avancée.

  Des alternatives à cette fonctionnalité sont disponibles. Par exemple, au lieu de charger des données à partir de tables Snowflake, les utilisateurs peuvent charger directement des données à partir de requêtes SQL Snowflake.

  Snowflake prévoit d’introduire un outil pour convertir des DataFrames entre Spark et Snowpark dans une prochaine version de Snowflake Connector for Spark.

• Chaque version inclut désormais un artefact au lieu de plusieurs artefacts pour différentes versions de Spark.

  L’artefact unique fonctionne avec plusieurs versions de Spark. Actuellement, Snowflake a vérifié la prise en charge de Spark 3.4 et 3.5 dans le Snowflake Connector for Spark version 3.0.0.

Conformément à la politique de prise en charge de Snowflake, Snowflake continuera à prendre en charge les versions Spark 2.x.x pendant deux ans maximum.

Nouvelles fonctionnalités¶

• Mise à niveau de JDBC vers la vesion 3.17.0 pour prendre en charge LOB.

• Ajout de la prise en charge de Spark 3.5.0.

Corrections de bogues¶

• Suppression de l’exigence du paramètre SFUSER lors de l’utilisation de OAUTH.

Nouvelles fonctionnalités¶

• Introduction d’un nouveau paramètre trim_space que vous pouvez utiliser pour réduire automatiquement les valeurs des colonnes StringType lors de l’enregistrement dans une table Snowflake. Par défaut : false.

Corrections de bogues¶

• Correction d’un problème qui provoquait un message « Les requêtes annulées peuvent être relancées dans les tentatives de Spark après la fermeture de l’application ».