Spark用Snowflakeコネクター¶
Spark用Snowflakeコネクター(Sparkコネクター)は、SnowflakeをApache Sparkエコシステムに取り込み、SparkがSnowflakeからデータを読み書きできるようにします。Sparkの観点から見ると、Snowflakeは他のSparkデータソース(PostgreSQL、 HDFS、S3など)に似ています。
Snowflake supports three versions of Spark: Spark 2.3, Spark 2.4, and Spark 3.0. There is a separate version of the Snowflake Spark Connector for each version of Spark. Use the correct version of the connector for your version of Spark.
コネクタはSparkプラグインとして実行され、Sparkパッケージ(spark-snowflake
)として提供されます。
次のトピック: