Connecteur Snowflake pour Spark¶
Le connecteur Snowflake pour Spark (« connecteur Spark ») intègre Snowflake dans l’écosystème Spark, permettant à Apache Spark de lire et d’écrire des données sur Snowflake. Du point de vue de Spark, Snowflake ressemble aux autres sources de données Spark (PostgreSQL, HDFS, S3, etc.).
Note
As an alternative to using Spark, consider writing your code to use API Snowpark instead. Snowpark allows you to perform all of your work within Snowflake (rather than in a separate Spark compute cluster). Snowpark also supports pushdown of all operations, including Snowflake UDFs. However, when you want to enforce row and column policies on Iceberg tables, use the Snowflake Spark Connector. For more information, see Renforcer les politiques de protection des données lors de l’interrogation de tables Apache Iceberg™ Apache Spark™.
Snowflake prend en charge plusieurs versions du connecteur pour Spark :
Spark Connector 2.x : Spark versions 3.2, 3.3 et 3.4.
Il existe une version distincte du connecteur Snowflake pour chaque version de Spark. Utilisez la bonne version du connecteur pour votre version de Spark.
Spark Connector 3.x : Spark versions 3.2, 3.3, 3.4 et 3.5.
Chaque paquet de Spark Connector 3 prend en charge la plupart des versions de Spark.
Le connecteur fonctionne en tant que plug-in Spark et est fourni sous forme de pack Spark (spark-snowflake).
Renforcer des politiques de protection des données sur les tables Apache Iceberg accessibles depuis Spark¶
Snowflake prend en charge l’application de politiques d’accès aux lignes et de masquage des données sur les tables Apache Iceberg que vous interrogez à partir d’Apache Spark™ via le catalogue Snowflake Horizon. Pour activer cette application, vous devez installer la version 3.1.6 ou une version ultérieure du connecteur Spark. Le connecteur Spark connecte Spark à Snowflake pour évaluer les politiques configurées sur les tables Iceberg. Pour plus d’informations, voir Renforcer les politiques de protection des données lors de l’interrogation de tables Apache Iceberg™ Apache Spark™.
Chapitres suivants :