Spark 커넥터 설치 및 구성하기¶

1단계: Spark용 Snowflake Connector 최신 버전 다운로드¶

Snowflake는 여러 버전의 커넥터를 제공합니다. 다음에 따라 적절한 버전을 다운로드하십시오.

• 사용할 Spark용 Snowflake Connector의 버전.

• 사용 중인 Spark의 버전.

• 사용 중인 Scala의 버전.

Maven에서 Snowflake Spark Connector를 다운로드할 수 있습니다. 드라이버를 빌드하려면 Github에서 원본 코드에 액세스할 수 있습니다.

2단계: Snowflake JDBC 드라이버의 호환 버전 다운로드¶

다음으로 사용 중인 Snowflake Spark Connector 버전과 호환되는 Snowflake JDBC 드라이버 버전을 다운로드해야 합니다.

Snowflake JDBC 드라이버는 Maven Central Repository의 JDBC Driver 페이지 를 통해 표준 Java 패키지로 제공됩니다. 패키지를 .jar 파일로 다운로드하거나 패키지를 직접 참조할 수 있습니다. 이 지침에서는 사용자가 이 패키지를 참조하는 것으로 간주합니다.

사용 중인 Snowflake Spark Connector 버전에서 지원되는 Snowflake JDBC 드라이버 버전을 찾으려면 Snowflake Connector for Spark 릴리스 정보 섹션을 참조하십시오.

Snowflake JDBC 드라이버 다운로드 및 설치에 대한 자세한 내용은 JDBC 드라이버 다운로드/통합하기 를 참조하십시오.

3단계(선택 사항): Spark용 Snowflake Connector 패키지 서명 확인¶

Spark용 Snowflake Connector 패키지 서명을 확인하는 방법은 다음과 같습니다.

1. 공개 키 서버에서 자신이 사용 중인 Spark용 Snowflake Connector 버전에 대한 Snowflake GPG 공개 키를 다운로드하고 가져옵니다.

   • 버전 2.11.1 이상:

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys 630D9F3CAB551AF3

   • 버전 2.8.2부터 2.11.0까지:

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys 37C7086698CB005C

   • 버전 2.4.13부터 2.8.1까지:

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys EC218558EABB25A1

   • 버전 2.4.12 이하:

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys 93DB296A69BE019A

   참고

   이 명령이 다음 오류와 함께 실패하는 경우:

   gpg: keyserver receive failed: Server indicated a failure
   

   Copy

   그리고 키 서버에 포트 80을 사용하도록 지정합니다.

   gpg --keyserver hkp://keyserver.ubuntu.com:80  ...
   

   Copy

2. gpg --verify 명령을 실행하여 패키지의 서명을 확인합니다.

   --verify 명령줄 플래그의 경우, 이전에 다운로드한 .asc 파일을 서명 파일로 지정하고 JAR 파일을 서명된 데이터를 포함한 파일로 지정합니다.

   $ gpg --verify spark-snowflake_x.xx-N.N.N-spark_P.P.jar.asc spark-snowflake_x.xx-N.N.N-spark_P.P.jar
   gpg: Signature made Wed 22 Feb 2017 04:31:58 PM UTC using RSA key ID <gpg_key_id>
   gpg: Good signature from "Snowflake Computing <snowflake_gpg\ @snowflake.net>"
   

   Copy

   여기서,

   • x.xx 는 Scala 버전(예: 2.12)입니다.

   • N.N.N 은 Spark용 Snowflake Connector의 버전입니다(예: 2.12.0).

   • P.P 는 Spark 버전(예: 3.4)입니다.

   참고

   서명을 확인하면 다음과 유사한 경고가 표시됩니다.

   gpg: Signature made Mon 24 Sep 2018 03:03:45 AM UTC using RSA key ID <gpg_key_id>
   gpg: Good signature from "Snowflake Computing <snowflake_gpg@snowflake.net>" unknown
   gpg: WARNING: This key is not certified with a trusted signature!
   gpg: There is no indication that the signature belongs to the owner.
   

   Copy

   경고를 방지하려면, Snowflake GPG 공개 키에 암시적 신뢰를 부여할 수 있습니다.

3. 로컬 환경에는 여러 개의 GPG 키가 포함될 수 있지만, 보안상의 이유로 Snowflake는 공개 GPG 키를 주기적으로 순환합니다. 가장 좋은 방법은 서명된 최신 패키지에서 최신 키가 작동하는지 확인한 후 기존 공개 키를 삭제하는 것입니다. 예:

   $ gpg --delete-key "Snowflake Computing"
   

   Copy

4단계: 로컬 Spark 클러스터 또는 Amazon EMR 호스팅 Spark 환경 구성하기¶

로컬에 Spark를 설치하거나 Amazon EMR에 Spark를 설치 한 경우, Snowflake JDBC 드라이버 및 Spark Connector를 모두 포함하도록 spark-shell 프로그램을 구성해야 합니다.

• Snowflake JDBC 드라이버를 포함하려면 --package 옵션을 사용하여 Maven Central Repository의 JDBC Driver 페이지 에서 JDBC 패키지를 참조하여 사용할 드라이버의 정확한 버전 (예: net.snowflake:snowflake-jdbc:3.13.30)을 입력합니다.

• Spark Connector를 포함하려면 --package 옵션을 사용하여 Maven Central Repository에서 호스팅되는 적절한 패키지(Scala 2.12 또는 Scala 2.13)를 참조하여 사용할 드라이버의 정확한 버전(예: net.snowflake:spark-snowflake_2.12:2.12.0-spark_3.4)을 입력합니다.

예:

spark-shell --packages net.snowflake:snowflake-jdbc:3.13.22,net.snowflake:spark-snowflake_2.12:2.12.0-spark_3.4

Copy

AWS 외부 S3 버킷 준비하기¶

커넥터가 Snowflake와 Spark 사이에서 데이터를 교환하기 위해 사용할 수 있는 외부 S3 버킷을 준비합니다. 그리고 위치에 필요한 AWS 자격 증명과 함께 위치 정보를 커넥터에 제공합니다. 자세한 내용은 이 항목의 데이터 교환을 위해 S3 인증하기 섹션을 참조하십시오.

Azure Blob 저장소 컨테이너 준비하기¶

커넥터가 Snowflake와 Spark 사이에서 데이터를 교환하기 위해 사용할 수 있는 외부 Azure Blob 저장소 컨테이터를 준비합니다. 그리고 위치에 필요한 Azure 자격 증명과 함께 위치 정보를 커넥터에 제공합니다. 자세한 내용은 이 항목의 데이터 교환을 위해 Azure 인증하기 섹션을 참조하십시오.