Conector Snowflake para Spark¶
O conector Snowflake para Spark (“conector Spark”) traz o Snowflake para o ecossistema Apache Spark, permitindo que o Spark leia e grave dados do Snowflake. Da perspectiva do Spark, o Snowflake parece similar a outras fontes de dados Spark (PostgreSQL, HDFS, S3, etc.).
Nota
Como alternativa ao uso do Spark, considere escrever seu código para usar Snowpark API em seu lugar. O Snowpark permite realizar todo o seu trabalho dentro do Snowflake (em vez de em um cluster de computação Spark separado). O Snowpark também suporta o pushdown de todas as operações, incluindo UDFs do Snowflake.
O Snowflake é compatível com várias versões do conector Spark:
Spark Connector 2.x: versões 3.2, 3.3 e 3.4 do Spark.
Há uma versão separada do conector Snowflake para cada versão do Spark. Use a versão correta do conector para sua versão do Spark.
Spark Connector 3.x: versões 3.2, 3.3, 3.4 e 3.5 do Spark.
Cada pacote do Spark Connector 3 é compatível com a maioria das versões do Spark.
O conector funciona como um plugin do Spark e é fornecido como um pacote Spark (spark-snowflake).
Próximos tópicos: