Snowflake Connector for Spark¶
Spark用Snowflakeコネクター(Sparkコネクター)は、SnowflakeをApache Sparkエコシステムに取り込み、SparkがSnowflakeからデータを読み書きできるようにします。Sparkの観点から見ると、Snowflakeは他のSparkデータソース(PostgreSQL、 HDFS、S3など)に似ています。
注釈
Sparkを使用する代わりに、 Snowpark API を使用するようにコードを作成することを検討してください。Snowparkを使用すると、(個別のSparkコンピュートクラスタではなく)Snowflake内ですべての作業を実行できます。Snowparkは、Snowflake UDFs を含むすべての操作のプッシュダウンもサポートしています。
Snowflakeは複数のバージョンのSparkコネクタをサポートしています。
Spark Connector 2.x:Sparkバージョン3.2、3.3、3.4。
Snowflakeコネクタには、Sparkのバージョンごとに個別のバージョンがあります。Sparkのバージョンに合った正しいバージョンのコネクタを使用します。
Spark Connector 3.x:Sparkバージョン3.2、3.3、3.4、3.5。
各Spark Connector 3パッケージは、ほとんどのバージョンのSparkをサポートしています。
コネクタはSparkプラグインとして実行され、Sparkパッケージ(spark-snowflake
)として提供されます。
次のトピック: