Snowflake-Konnektor für Spark

Der Snowflake-Konnektor für Spark („Spark-Konnektor“) bringt Snowflake in das Spark-Ökosystem und ermöglicht es Spark, Daten von Snowflake zu lesen und in Snowflake zu schreiben. Aus der Perspektive von Spark ist Snowflake eine Datenquelle wie andere Spark-Datenquellen auch (PostgreSQL, HDFS, S3 usw.).

Bemerkung

As an alternative to using Spark, consider writing your code to use Snowpark API instead. Snowpark allows you to perform all of your work within Snowflake (rather than in a separate Spark compute cluster). Snowpark also supports pushdown of all operations, including Snowflake UDFs. However, when you want to enforce row and column policies on Iceberg tables, use the Snowflake Spark Connector. For more information, see Durchsetzen von Datenschutzrichtlinien bei der Abfrage von Apache Iceberg™-Tabellen von Apache Spark™.

Snowflake unterstützt mehrere Versionen des Spark-Konnektors:

  • Spark Connector 2.x: Spark Versionen 3.2, 3.3, und 3.4.

    • Für jede Version von Spark gibt es eine eigene Version des Snowflake-Konnektors. Verwenden Sie die passende Konnektorversion für Ihre Spark-Version.

  • Spark Connector 3.x: Spark Versionen 3.2, 3.3, 3.4, und 3.5.

    • Jedes Spark Connector 3-Paket unterstützt die meisten Versionen von Spark.

Der Konnektor wird als Spark-Plugin ausgeführt und als Spark-Paket bereitgestellt (spark-snowflake).

Durchsetzen von Datenschutzrichtlinien für Apache Iceberg-Tabellen, auf die von Spark aus zugegriffen wird

Snowflake unterstützt die Durchsetzung von Zeilenzugriffs- und Datenmaskierungsrichtlinien für Apache Iceberg-Tabellen, die Sie von Apache Spark™ über Snowflake Horizon Catalog abfragen. Um diese Durchsetzung zu aktivieren, müssen Sie 3.1.6 oder eine neuere Version des Spark-Konnektors installieren. Der Spark-Konnektor verbindet Spark mit Snowflake, um Richtlinien auszuwerten, die für die Iceberg-Tabellen konfiguriert sind. Weitere Informationen dazu finden Sie unter Durchsetzen von Datenschutzrichtlinien bei der Abfrage von Apache Iceberg™-Tabellen von Apache Spark™.

Nächste Themen: