2024年の Snowflake Connector for Spark リリースノート¶

BCR （動作変更リリース）の変更¶

バージョン3.0.0から、 Snowflake Connector for Spark により以下の重大な変更点が導入されました。

• 高度なクエリプッシュダウン機能を削除しました。

  この機能の代替が提供されています。たとえば、Snowflakeテーブルからデータをロードする代わりに、ユーザーはSnowflake SQL クエリから直接データをロードすることができます。

  Snowflakeは、将来の Snowflake Connector for Spark リリースにより、SparkとSnowparkの間で DataFrames を変換するツールを導入する予定です。

• 各リリースには、異なるSparkバージョン用の複数のアーティファクトに代わり、1つのアーティファクトが含まれるようになりました。

  単一アーティファクトは、複数のSparkバージョンで動作します。現在、Snowflakeは Snowflake Connector for Spark 3.0.0バージョンでSpark 3.4と3.5のサポートを確認しています。

Snowflakeのサポートポリシーにより、SnowflakeはSpark 2.x.xバージョンのサポートを最長2年間継続します。

新機能¶

• LOB をサポートするために JDBC を3.17.0にアップグレードしました。

• Spark 3.5.0のサポートを追加しました。

バグ修正¶

• OAUTH を使用する際に必要な SFUSER パラメーターを削除しました。

新機能¶

• JDBC をバージョン3.16.1にアップグレードしました。

• レガシーSparkストリーミングコードを改善しました。

• セッションレベルで abort_detached_query パラメーターをデフォルトで無効にしました。

バグ修正¶

• S3プロトコルに不適切な影響を与えるプロキシプロトコルの問題を修正しました。

新機能¶

• Snowflakeテーブルへの保存時に StringType 列の値を自動的にトリムするために使用できる、新しい trim_space パラメーターを導入しました。デフォルト: false。

バグ修正¶

• 「cancelled queries can be restarted in the Spark retries after application closed」というメッセージが表示される問題を修正しました。