Conector Snowflake para Spark¶
O conector Snowflake para Spark (“conector Spark”) traz o Snowflake para o ecossistema Apache Spark, permitindo que o Spark leia e grave dados do Snowflake. Da perspectiva do Spark, o Snowflake parece similar a outras fontes de dados Spark (PostgreSQL, HDFS, S3, etc.).
Nota
Como alternativa ao uso do Spark, considere escrever seu código para usar API Snowpark em seu lugar. O Snowpark permite realizar todo o seu trabalho dentro do Snowflake (em vez de em um cluster de computação Spark separado). O Snowpark também suporta o pushdown de todas as operações, incluindo UDFs do Snowflake.
O Snowflake oferece suporte a três versões do Spark: Spark 3.2, Spark 3.3 e Spark 3.4. Existe uma versão separada do conector Snowflake para cada versão do Spark. Use a versão correta do conector para sua versão do Spark.
O conector funciona como um plugin do Spark e é fornecido como um pacote Spark (spark-snowflake).
Próximos tópicos: