2024年の Snowflake Connector for Spark リリースノート

この記事には、 Snowflake Connector for Spark のリリースノートが含まれています。また、該当する場合は以下が含まれます。

  • 動作の変更

  • 新機能

  • 顧客向けバグ修正

Snowflake は、 Snowflake Connector for Spark の更新にセマンティックバージョニングを使用します。

ドキュメントについては、 Spark用Snowflakeコネクター をご参照ください。

バージョン3.0.0（2024年7月31日）

BCR （動作変更リリース）の変更

バージョン3.0.0から、 Snowflake Connector for Spark により以下の重大な変更点が導入されました。

  • 高度なクエリプッシュダウン機能を削除しました。

    この機能の代替が提供されています。たとえば、Snowflakeテーブルからデータをロードする代わりに、ユーザーはSnowflake SQL クエリから直接データをロードすることができます。

    Snowflakeは、将来の Snowflake Connector for Spark リリースにより、SparkとSnowparkの間で DataFrames を変換するツールを導入する予定です。

  • 各リリースには、異なるSparkバージョン用の複数のアーティファクトに代わり、1つのアーティファクトが含まれるようになりました。

    単一アーティファクトは、複数のSparkバージョンで動作します。現在、Snowflakeは Snowflake Connector for Spark 3.0.0バージョンでSpark 3.4と3.5のサポートを確認しています。

Snowflakeのサポートポリシーにより、SnowflakeはSpark 2.x.xバージョンのサポートを最長2年間継続します。

新機能

  • LOB をサポートするために JDBC を3.17.0にアップグレードしました。

  • Spark 3.5.0のサポートを追加しました。

バグ修正

  • OAUTH を使用する際に必要な SFUSER パラメーターを削除しました。

バージョン2.15.0（2024年2月26日）

新機能

  • Snowflakeテーブルへの保存時に StringType 列の値を自動的にトリムするために使用できる、新しい trim_space パラメーターを導入しました。デフォルト: false。

バグ修正

  • 「cancelled queries can be restarted in the Spark retries after application closed」というメッセージが表示される問題を修正しました。

言語: 日本語