Snowflake-Konnektor für Spark

Der Snowflake-Konnektor für Spark („Spark-Konnektor“) bringt Snowflake in das Spark-Ökosystem und ermöglicht es Spark, Daten von Snowflake zu lesen und in Snowflake zu schreiben. Aus der Perspektive von Spark ist Snowflake eine Datenquelle wie andere Spark-Datenquellen auch (PostgreSQL, HDFS, S3 usw.).

Bemerkung

Als Alternative zur Verwendung von Spark können Sie Ihren Code so schreiben, dass dieser stattdessen Snowpark API verwendet. Mit Snowpark können Sie Ihre gesamte Arbeit innerhalb von Snowflake ausführen (und benötigen keinen separaten Spark-Computecluster). Snowpark unterstützt auch Pushdown für alle Operationen, einschließlich Snowflake-UDFs. Wenn Sie jedoch Zeilen- und Spaltenrichtlinien für Iceberg-Tabellen durchsetzen möchten, verwenden Sie den Snowflake-Konnektor für Spark. Weitere Informationen dazu finden Sie unter Durchsetzen von Datenschutzrichtlinien bei der Abfrage von Apache Iceberg™-Tabellen von Apache Spark™.

Snowflake unterstützt mehrere Versionen des Spark-Konnektors:

  • Spark Connector 2.x: Spark Versionen 3.2, 3.3, und 3.4.

    • Für jede Version von Spark gibt es eine eigene Version des Snowflake-Konnektors. Verwenden Sie die passende Konnektorversion für Ihre Spark-Version.

  • Spark Connector 3.x: Spark Versionen 3.2, 3.3, 3.4, und 3.5.

    • Jedes Spark Connector 3-Paket unterstützt die meisten Versionen von Spark.

Der Konnektor wird als Spark-Plugin ausgeführt und als Spark-Paket bereitgestellt (spark-snowflake).

Durchsetzen von Datenschutzrichtlinien für Apache Iceberg-Tabellen, auf die von Spark aus zugegriffen wird

Snowflake unterstützt die Durchsetzung von Zeilenzugriffs- und Datenmaskierungsrichtlinien für Apache Iceberg-Tabellen, die Sie von Apache Spark™ über Snowflake Horizon Catalog abfragen. Um diese Durchsetzung zu aktivieren, müssen Sie 3.1.6 oder eine neuere Version des Spark-Konnektors installieren. Der Spark-Konnektor verbindet Spark mit Snowflake, um Richtlinien auszuwerten, die für die Iceberg-Tabellen konfiguriert sind. Weitere Informationen dazu finden Sie unter Durchsetzen von Datenschutzrichtlinien bei der Abfrage von Apache Iceberg™-Tabellen von Apache Spark™.

Nächste Themen: