Snowflake-Konnektor für Spark

Der Snowflake-Konnektor für Spark („Spark-Konnektor“) bringt Snowflake in das Spark-Ökosystem und ermöglicht es Spark, Daten von Snowflake zu lesen und in Snowflake zu schreiben. Aus der Perspektive von Spark ist Snowflake eine Datenquelle wie andere Spark-Datenquellen auch (PostgreSQL, HDFS, S3 usw.).

Bemerkung

Als Alternative zur Verwendung von Spark können Sie Ihren Code so schreiben, dass dieser stattdessen Snowpark-API verwendet. Mit Snowpark können Sie Ihre gesamte Arbeit innerhalb von Snowflake ausführen (und benötigen keinen separaten Spark-Computecluster). Snowpark unterstützt auch Pushdown für alle Operationen, einschließlich Snowflake-UDFs.

Snowflake unterstützt drei Versionen von Spark: Spark 3.2, Spark 3.3 und Spark 3.4. Es gibt für jede Version von Spark eine separate Version des Snowflake-Konnektors für Spark. Verwenden Sie die passende Konnektorversion für Ihre Spark-Version.

Der Konnektor wird als Spark-Plugin ausgeführt und als Spark-Paket bereitgestellt (spark-snowflake).

Nächste Themen: