Snowflake-Konnektor für Spark¶
Der Snowflake-Konnektor für Spark („Spark-Konnektor“) bringt Snowflake in das Spark-Ökosystem und ermöglicht es Spark, Daten von Snowflake zu lesen und in Snowflake zu schreiben. Aus der Perspektive von Spark ist Snowflake eine Datenquelle wie andere Spark-Datenquellen auch (PostgreSQL, HDFS, S3 usw.).
Bemerkung
Als Alternative zur Verwendung von Spark können Sie Ihren Code so schreiben, dass dieser stattdessen Snowpark API verwendet. Mit Snowpark können Sie Ihre gesamte Arbeit innerhalb von Snowflake ausführen (und benötigen keinen separaten Spark-Computecluster). Snowpark unterstützt auch Pushdown für alle Operationen, einschließlich Snowflake-UDFs.
Snowflake unterstützt mehrere Versionen des Spark-Konnektors:
Spark Connector 2.x: Spark Versionen 3.2, 3.3, und 3.4.
Für jede Version von Spark gibt es eine eigene Version des Snowflake-Konnektors. Verwenden Sie die passende Konnektorversion für Ihre Spark-Version.
Spark Connector 3.x: Spark Versionen 3.2, 3.3, 3.4, und 3.5.
Jedes Spark Connector 3-Paket unterstützt die meisten Versionen von Spark.
Der Konnektor wird als Spark-Plugin ausgeführt und als Spark-Paket bereitgestellt (spark-snowflake).
Nächste Themen: