Snowflake-Konnektor für Spark¶
Der Snowflake-Konnektor für Spark („Spark-Konnektor“) bringt Snowflake in das Spark-Ökosystem und ermöglicht es Spark, Daten von Snowflake zu lesen und in Snowflake zu schreiben. Aus der Perspektive von Spark ist Snowflake eine Datenquelle wie andere Spark-Datenquellen auch (PostgreSQL, HDFS, S3 usw.).
Bemerkung
Als Alternative zur Verwendung von Spark können Sie Ihren Code so schreiben, dass dieser stattdessen Snowpark-API verwendet. Mit Snowpark können Sie Ihre gesamte Arbeit innerhalb von Snowflake ausführen (und benötigen keinen separaten Spark-Computecluster). Snowpark unterstützt auch Pushdown für alle Operationen, einschließlich Snowflake-UDFs.
Snowflake unterstützt drei Versionen von Spark: Spark 3.2, Spark 3.3 und Spark 3.4. Es gibt für jede Version von Spark eine separate Version des Snowflake-Konnektors für Spark. Verwenden Sie die passende Konnektorversion für Ihre Spark-Version.
Der Konnektor wird als Spark-Plugin ausgeführt und als Spark-Paket bereitgestellt (spark-snowflake).
Nächste Themen: