2023年の Snowflake Connector for Spark リリースノート

この記事には、 Snowflake Connector for Spark のリリースノートが含まれています。また、該当する場合は以下が含まれます。

  • 動作の変更

  • 新機能

  • 顧客向けバグ修正

Snowflake は、 Snowflake Connector for Spark の更新にセマンティックバージョニングを使用します。

バージョン2.12.0（2023年5月23日）

注釈

このバージョン（2.12.0）以降、Spark用SnowflakeコネクタではSpark 3.1がサポートされなくなりましたが、バージョン3.2、3.3、3.4は引き続きサポートされます。コネクタの以前のバージョンは、引き続きSpark 3.1をサポートします。

新機能

  • Spark 3.4のサポートを追加しました。

  • Snowflake JDBC ドライバー、バージョン3.13.30を使用して構築およびテストされました。

バグ修正

  • なし。

バージョン2.11.3（2023年4月21日）

新機能

  • GCP のアカウントに DataFrames を書き込むしくみを更新しました。2023年12月以降、Sparkコネクタの以前のバージョンは、 GCP の変更により、 DataFrames を書き込めなくなります。

  • セッション共有で preactions と postactions の検証を無効にするオプションを追加しました。

    検証を無効にするには、オプション FORCE_SKIP_PRE_POST_ACTION_CHECK_FOR_SHARED_SESSION を true に設定します。デフォルトは false です。

    重要

    このオプションを設定する前に、 preactions と postactions のクエリがセッションの設定に影響を与えないことを確認してください。そうしないと、結果に問題が生じる可能性があります。

バグ修正

  • 2つの DataFrames が、異なる sfSchema のテーブルにアクセスし、 sfSchema の同名のテーブルが左の DataFrame にある場合に、

  • 異なるスキーマ間で結合または和集合を実行する際の問題を修正しました。

バージョン2.11.2（2023年3月21日）

新機能

  • JDBC 接続の共有サポートを追加しました。

    Spark用Snowflakeコネクタは、クライアントが同じ接続オプションを使用してSnowflakeにアクセスする場合、異なるジョブやアクションに同じ JDBC 接続を使用できるようになりました。以前は、Sparkコネクタがジョブまたはアクションごとに新しい JDBC 接続を作成していました。

    Sparkコネクタは、この機能を有効または無効にするための以下のオプションと API メソッドをサポートしています。

    • コネクタが同じ JDBC 接続を使用しないように指定するには、 support_share_connection コネクタオプションを false に設定します。（デフォルト値は true で、この機能が有効であることを意味します。）

    • プログラムを使用して機能を有効または無効にするには、静的グローバル関数 SparkConnectorContext.disableSharedConnection() か SparkConnectorContext.enableSharingJDBCConnection() のいずれかを呼び出します。

    注釈

    以下の特別なケースでは、Sparkコネクタは共有接続を使用しません。

    • preactions または postactions が設定され、それらの preactions または postactions が CREATE TABLE、 DROP TABLE、または MERGE INTO ではない場合、Sparkコネクタは共有接続を使用しません。

    • Utils.runQuery() や Utils.getJDBCConnection() などの Utils にあるユーティリティ関数は、共有接続を使用しません。

  • Snowflake JDBC ドライバー3.13.29 を使用するようにコネクタを更新しました。

バグ修正

  • なし。

言語: 日本語