Connecteur Snowflake pour Spark

Le connecteur Snowflake pour Spark (« connecteur Spark ») intègre Snowflake dans l’écosystème Spark, permettant à Apache Spark de lire et d’écrire des données sur Snowflake. Du point de vue de Spark, Snowflake ressemble aux autres sources de données Spark (PostgreSQL, HDFS, S3, etc.).

Snowflake supports three versions of Spark: Spark 3.1, Spark 3.2, and Spark 3.3. There is a separate version of the Snowflake connector for each version of Spark. Use the correct version of the connector for your version of Spark.

Le connecteur fonctionne en tant que plug-in Spark et est fourni sous forme de pack Spark (spark-snowflake).

Note

Comme alternative à l’utilisation de Spark, envisagez d’écrire votre code pour utiliser Snowpark à la place. Snowpark vous permet d’effectuer tout votre travail dans Snowflake (plutôt que dans un cluster de calcul Spark séparé). Snowpark prend également en charge le pushdown de toutes les opérations, y compris les UDFs Snowflake.

Chapitres suivants :

Revenir au début