2023年の Snowflake Connector for Spark リリースノート¶
この記事には、 Snowflake Connector for Spark のリリースノートが含まれています。また、該当する場合は以下が含まれます。
動作の変更
新機能
顧客向けバグ修正
Snowflake は、 Snowflake Connector for Spark の更新にセマンティックバージョニングを使用します。
ドキュメントについては、 Snowflake Connector for Spark をご参照ください。
バージョン2.12.0(2023年5月23日)¶
注釈
このバージョン(2.12.0)以降、Spark用SnowflakeコネクタではSpark 3.1がサポートされなくなりましたが、バージョン3.2、3.3、3.4は引き続きサポートされます。コネクタの以前のバージョンは、引き続きSpark 3.1をサポートします。
新機能¶
Spark 3.4のサポートを追加しました。
Snowflake JDBC ドライバー、バージョン3.13.30を使用して構築およびテストされました。
バグ修正¶
なし。
バージョン2.11.3(2023年4月21日)¶
新機能¶
GCP のアカウントに DataFrames を書き込むしくみを更新しました。2023年12月以降、Sparkコネクタの以前のバージョンは、 GCP の変更により、 DataFrames を書き込めなくなります。
セッション共有で
preactions
とpostactions
の検証を無効にするオプションを追加しました。検証を無効にするには、オプション
FORCE_SKIP_PRE_POST_ACTION_CHECK_FOR_SHARED_SESSION
をtrue
に設定します。デフォルトはfalse
です。重要
このオプションを設定する前に、
preactions
とpostactions
のクエリがセッションの設定に影響を与えないことを確認してください。そうしないと、結果に問題が生じる可能性があります。
バグ修正¶
2つの DataFrames が、異なる
sfSchema
のテーブルにアクセスし、sfSchema
の同名のテーブルが左のDataFrame
にある場合に、異なるスキーマ間で結合または和集合を実行する際の問題を修正しました。
バージョン2.11.2(2023年3月21日)¶
新機能¶
JDBC 接続の共有サポートを追加しました。
Spark用Snowflakeコネクタは、クライアントが同じ接続オプションを使用してSnowflakeにアクセスする場合、異なるジョブやアクションに同じ JDBC 接続を使用できるようになりました。以前は、Sparkコネクタがジョブまたはアクションごとに新しい JDBC 接続を作成していました。
Sparkコネクタは、この機能を有効または無効にするための以下のオプションと API メソッドをサポートしています。
コネクタが同じ JDBC 接続を使用しないように指定するには、
support_share_connection
コネクタオプションをfalse
に設定します。(デフォルト値はtrue
で、この機能が有効であることを意味します。)プログラムを使用して機能を有効または無効にするには、静的グローバル関数
SparkConnectorContext.disableSharedConnection()
かSparkConnectorContext.enableSharingJDBCConnection()
のいずれかを呼び出します。
注釈
以下の特別なケースでは、Sparkコネクタは共有接続を使用しません。
preactions
またはpostactions
が設定され、それらのpreactions
またはpostactions
が CREATE TABLE、 DROP TABLE、または MERGE INTO ではない場合、Sparkコネクタは共有接続を使用しません。Utils.runQuery()
やUtils.getJDBCConnection()
などのUtils
にあるユーティリティ関数は、共有接続を使用しません。
Snowflake JDBC ドライバー3.13.29 を使用するようにコネクタを更新しました。
バグ修正¶
なし。