Spark용 Snowflake 커넥터¶
Spark용 Snowflake Connector(《Spark 커넥터》)는 Snowflake를 Apache Spark 에코시스템으로 가져와 Spark가 Snowflake에서 데이터를 읽고 쓸 수 있도록 해줍니다. Spark의 관점에서 Snowflake는 기타 Spark 데이터 소스(PostgreSQL, HDFS, S3 등)와 유사합니다.
참고
Spark 사용의 대체 수단으로, Snowpark API 를 대신 사용하기 위한 코드를 작성해 보십시오. Snowpark를 사용하면 (별도의 Spark 컴퓨팅 클러스터가 아닌) Snowflake 내에서 모든 작업을 수행할 수 있습니다. Snowpark는 Snowflake UDF를 포함한 모든 작업의 푸시다운도 지원합니다.
Snowflake는 Spark 3.2, Spark 3.3 및 Spark 3.4의 세 가지 Spark 버전을 지원합니다. 각 Spark 버전마다 Snowflake 커넥터의 별도 버전이 있습니다. 사용 중인 Spark 버전에 적합한 올바른 버전의 커넥터를 사용하십시오.
커넥터는 Spark 플러그인으로 실행되며 Spark 패키지(spark-snowflake)로 제공됩니다.
다음 항목: