Snowflake-Konnektor für Spark

Der Snowflake-Konnektor für Spark („Spark-Konnektor“) bringt Snowflake in das Spark-Ökosystem und ermöglicht es Spark, Daten von Snowflake zu lesen und in Snowflake zu schreiben. Aus der Perspektive von Spark ist Snowflake eine Datenquelle wie andere Spark-Datenquellen auch (PostgreSQL, HDFS, S3 usw.).

Snowflake supports three versions of Spark: Spark 3.1, Spark 3.2, and Spark 3.3. There is a separate version of the Snowflake connector for each version of Spark. Use the correct version of the connector for your version of Spark.

Der Konnektor wird als Spark-Plugin ausgeführt und als Spark-Paket bereitgestellt (spark-snowflake).

Bemerkung

Als Alternative zur Verwendung von Spark können Sie Ihren Code so schreiben, dass dieser stattdessen Snowpark-API verwendet. Mit Snowpark können Sie Ihre gesamte Arbeit innerhalb von Snowflake ausführen (und benötigen keinen separaten Spark-Computecluster). Snowpark unterstützt auch Pushdown für alle Operationen, einschließlich Snowflake-UDFs.

Nächste Themen:

Zurück zum Anfang