Spark用Snowflakeコネクター¶
Spark用Snowflakeコネクター（Sparkコネクター）は、SnowflakeをApache Sparkエコシステムに取り込み、SparkがSnowflakeからデータを読み書きできるようにします。Sparkの観点から見ると、Snowflakeは他のSparkデータソース（PostgreSQL、 HDFS、S3など）に似ています。
Snowflake supports three versions of Spark: Spark 3.1, Spark 3.2, and Spark 3.3. There is a separate version of the Snowflake connector for each version of Spark. Use the correct version of the connector for your version of Spark.
コネクタはSparkプラグインとして実行され、Sparkパッケージ（spark-snowflake）として提供されます。
注釈
Sparkを使用する代わりに、 Snowpark API を使用するようにコードを作成することを検討してください。Snowparkを使用すると、（個別のSparkコンピュートクラスタではなく）Snowflake内ですべての作業を実行できます。Snowparkは、Snowflake UDFs を含むすべての操作のプッシュダウンもサポートしています。
次のトピック: