Snowflake Connector for Spark

Spark用Snowflakeコネクター（Sparkコネクター）は、SnowflakeをApache Sparkエコシステムに取り込み、SparkがSnowflakeからデータを読み書きできるようにします。Sparkの観点から見ると、Snowflakeは他のSparkデータソース（PostgreSQL、 HDFS、S3など）に似ています。

注釈

Sparkを使用する代わりに、 Snowpark API を使用するようにコードを作成することを検討してください。Snowparkを使用すると、（個別のSparkコンピュートクラスタではなく）Snowflake内ですべての作業を実行できます。Snowparkは、Snowflake UDFs を含むすべての操作のプッシュダウンもサポートしています。ただし、Icebergテーブルに行と列のポリシーを適用したい場合は、Snowflake Sparkコネクタを使用します。詳細については、 Apache Spark™から Apache Iceberg™ テーブルをクエリするときにデータ保護ポリシーを適用する をご参照ください。

Snowflakeは複数のバージョンのSparkコネクタをサポートしています。

  • Spark Connector 2.x：Sparkバージョン3.2、3.3、3.4。

    • Snowflakeコネクタには、Sparkのバージョンごとに個別のバージョンがあります。Sparkのバージョンに合った正しいバージョンのコネクタを使用します。

  • Spark Connector 3.x：Sparkバージョン3.2、3.3、3.4、3.5。

    • 各Spark Connector 3パッケージは、ほとんどのバージョンのSparkをサポートしています。

コネクタはSparkプラグインとして実行され、Sparkパッケージ（spark-snowflake）として提供されます。

SparkからアクセスされるApache Icebergテーブルにデータ保護ポリシーを適用する

Snowflakeは、Snowflake Horizonカタログを通じてApache Spark™からクエリするApache Icebergテーブルに対する行アクセスおよびデータマスキングポリシーの適用をサポートしています。この適用を有効にするには、Sparkコネクタの3.1.6以降のバージョンをインストールする必要があります。SparkコネクタはSparkをSnowflakeに接続し、Icebergテーブルに設定されているポリシーを評価します。詳細については、 Apache Spark™から Apache Iceberg™ テーブルをクエリするときにデータ保護ポリシーを適用する をご参照ください。

次のトピック: