Snowflake-Konnektor für Spark¶
Der Snowflake-Konnektor für Spark („Spark-Konnektor“) bringt Snowflake in das Spark-Ökosystem und ermöglicht es Spark, Daten von Snowflake zu lesen und in Snowflake zu schreiben. Aus der Perspektive von Spark ist Snowflake eine Datenquelle wie andere Spark-Datenquellen auch (PostgreSQL, HDFS, S3 usw.).
Bemerkung
Als Alternative zur Verwendung von Spark können Sie Ihren Code so schreiben, dass dieser stattdessen Snowpark API verwendet. Mit Snowpark können Sie Ihre gesamte Arbeit innerhalb von Snowflake ausführen (und benötigen keinen separaten Spark-Computecluster). Snowpark unterstützt auch Pushdown für alle Operationen, einschließlich Snowflake-UDFs.
Snowflake unterstützt drei Versionen von Spark: Spark 3.2, Spark 3.3 und Spark 3.4. Es gibt für jede Version von Spark eine separate Version des Snowflake-Konnektors für Spark. Verwenden Sie die passende Konnektorversion für Ihre Spark-Version.
Der Konnektor wird als Spark-Plugin ausgeführt und als Spark-Paket bereitgestellt (spark-snowflake).
Nächste Themen: