Snowflake-Konnektor für Spark¶
Der Snowflake-Konnektor für Spark („Spark-Konnektor“) bringt Snowflake in das Spark-Ökosystem und ermöglicht es Spark, Daten von Snowflake zu lesen und in Snowflake zu schreiben. Aus der Perspektive von Spark ist Snowflake eine Datenquelle wie andere Spark-Datenquellen auch (PostgreSQL, HDFS, S3 usw.).
Bemerkung
Sie können auch Snowpark Connect für Spark als Alternative zum Snowflake Connector für Spark verwenden.
Snowflake unterstützt mehrere Versionen des Spark-Konnektors:
Spark Connector 2.x: Spark Versionen 3.2, 3.3, und 3.4.
Für jede Version von Spark gibt es eine eigene Version des Snowflake-Konnektors. Verwenden Sie die passende Konnektorversion für Ihre Spark-Version.
Spark Connector 3.x: Spark Versionen 3.2, 3.3, 3.4, und 3.5.
Jedes Spark Connector 3-Paket unterstützt die meisten Versionen von Spark.
Der Konnektor wird als Spark-Plugin ausgeführt und als Spark-Paket bereitgestellt (spark-snowflake).
Durchsetzen von Datenschutzrichtlinien für Apache Iceberg-Tabellen, auf die von Spark aus zugegriffen wird¶
Snowflake unterstützt die Durchsetzung von Zeilenzugriffs- und Datenmaskierungsrichtlinien für Apache Iceberg-Tabellen, die Sie von Apache Spark™ über Snowflake Horizon Catalog abfragen. Um diese Durchsetzung zu aktivieren, müssen Sie 3.1.6 oder eine neuere Version des Spark-Konnektors installieren. Der Spark-Konnektor verbindet Spark mit Snowflake, um Richtlinien auszuwerten, die für die Iceberg-Tabellen konfiguriert sind. Weitere Informationen dazu finden Sie unter Durchsetzen von Datenschutzrichtlinien bei der Abfrage von Apache Iceberg™-Tabellen von Apache Spark™.
Nächste Themen: