Spark용 Snowflake 커넥터

Spark용 Snowflake Connector(《Spark 커넥터》)는 Snowflake를 Apache Spark 에코시스템으로 가져와 Spark가 Snowflake에서 데이터를 읽고 쓸 수 있도록 해줍니다. Spark의 관점에서 Snowflake는 기타 Spark 데이터 소스(PostgreSQL, HDFS, S3 등)와 유사합니다.

Snowflake supports three versions of Spark: Spark 3.1, Spark 3.2, and Spark 3.3. There is a separate version of the Snowflake connector for each version of Spark. Use the correct version of the connector for your version of Spark.

커넥터는 Spark 플러그인으로 실행되며 Spark 패키지(spark-snowflake)로 제공됩니다.

참고

Spark 사용의 대체 수단으로, Snowpark 를 대신 사용하기 위한 코드를 작성해 보십시오. Snowpark를 사용하면 (별도의 Spark 컴퓨팅 클러스터가 아닌) Snowflake 내에서 모든 작업을 수행할 수 있습니다. Snowpark는 Snowflake UDF를 포함한 모든 작업의 ​​푸시다운도 지원합니다.

다음 항목:

맨 위로 이동