Sparkコネクターのインストールと構成¶

ステップ1：Spark用Snowflakeコネクタの最新バージョンをダウンロードする¶

Snowflakeでは、コネクタの複数のバージョンを提供しています。以下に基づいて、適切なバージョンをダウンロードします。

• 使用するSpark用Snowflakeコネクタのバージョン。

• 使用しているSparkのバージョン。

• 使用しているScalaのバージョン。

Snowflake Sparkコネクタは、Mavenからダウンロードできます。ドライバーを構築する場合は、Githubからソースコードにアクセスできます。

ステップ2: Snowflake JDBC ドライバーの互換バージョンをダウンロードする¶

次に、使用しているSnowflake Sparkコネクタのバージョンと互換性のあるSnowflake JDBC ドライバーのバージョンをダウンロードする必要があります。

Snowflake JDBC ドライバーは、 Maven Central Repositoryの JDBC ドライバーページ を介して標準Javaパッケージとして提供されます。パッケージを .jar ファイルとしてダウンロードするか、パッケージを直接参照します。これらの手順は、パッケージを参照していることを前提としています。

使用しているSnowflake SparkコネクタのバージョンでサポートされているSnowflake JDBC ドライバーのバージョンを見つけるには、 Snowflake Connector for Spark リリースノート をご参照ください。

Snowflake JDBC ドライバーのダウンロードとインストールの詳細については、 JDBC ドライバーのダウンロード/統合 をご参照ください。

ステップ3（オプション）: Sparkパッケージ署名用Snowflakeコネクタを確認する¶

Sparkパッケージ署名用Snowflakeコネクタを確認するには、

1. 公開キーサーバーから、使用しているSpark用SnowflakeコネクタのバージョンのSnowflake GPG 公開キーをダウンロードしてインポートします。

   • バージョン2.11.1以上の場合、

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys 630D9F3CAB551AF3

   • バージョン2.8.2から2.11.0までの場合:

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys 37C7086698CB005C

   • バージョン2.4.13から2.8.1までの場合:

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys EC218558EABB25A1

   • バージョン2.4.12以下の場合:

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys 93DB296A69BE019A

   注釈

   このコマンドが次のエラーを発生して失敗した場合、

   gpg: keyserver receive failed: Server indicated a failure
   

   Copy

   次に、キーサーバーにポート80を使用することを指定します。

   gpg --keyserver hkp://keyserver.ubuntu.com:80  ...
   

   Copy

2. gpg --verify コマンドを実行して、パッケージの署名を確認します。

   --verify コマンドラインフラグには、署名ファイルとして 以前にダウンロード した .asc ファイルを指定し、署名済みデータを含むファイルとして JAR ファイルを指定します。

   $ gpg --verify spark-snowflake_x.xx-N.N.N-spark_P.P.jar.asc spark-snowflake_x.xx-N.N.N-spark_P.P.jar
   gpg: Signature made Wed 22 Feb 2017 04:31:58 PM UTC using RSA key ID <gpg_key_id>
   gpg: Good signature from "Snowflake Computing <snowflake_gpg\ @snowflake.net>"
   

   Copy

   条件:

   • x.xx は、Scalaバージョン（例: 2.12）。

   • N.N.N はSpark用Snowflakeコネクタのバージョン（例: 2.12.0）。

   • P.P は、Sparkバージョン（例: 3.4）。

   注釈

   署名の検証により、次のような警告が生成されます。

   gpg: Signature made Mon 24 Sep 2018 03:03:45 AM UTC using RSA key ID <gpg_key_id>
   gpg: Good signature from "Snowflake Computing <snowflake_gpg@snowflake.net>" unknown
   gpg: WARNING: This key is not certified with a trusted signature!
   gpg: There is no indication that the signature belongs to the owner.
   

   Copy

   警告を回避するために、Snowflake GPG 公開キーの暗黙的な信頼を付与できます。

3. ローカル環境には複数の GPG キーを含めることができます。ただし、セキュリティ上の理由から、Snowflakeは定期的に公開 GPG キーをローテーションします。ベストプラクティスとして、最新の署名済みパッケージで最新のキーが機能することを確認した後、既存の公開キーを削除することをお勧めします。例：

   $ gpg --delete-key "Snowflake Computing"
   

   Copy

ステップ4：ローカルSparkクラスターまたはAmazon EMR がホストするSpark環境を構成する¶

ローカルのSparkインストール、または Amazon EMR でのSparkインストール がある場合は、Snowflake JDBC ドライバーとSparkコネクタの両方を含めるように spark-shell プログラムを構成する必要があります。

• Snowflake JDBC ドライバーを含めるには、 --package オプションを使用して、 Maven Central Repositoryの JDBC ドライバーページ から JDBC パッケージを参照し、 使用するドライバーの正確なバージョン （例: net.snowflake:snowflake-jdbc:3.13.30）を提供します。

• Sparkコネクタを含めるには、 --package オプションを使用して、Maven Central Repositoryでホストされている適切なパッケージ（Scala 2.12 または Scala 2.13）を参照し、使用するドライバーの正確なバージョン（例: net.snowflake:spark-snowflake_2.12:2.12.0-spark_3.4）を提供します。

例:

spark-shell --packages net.snowflake:snowflake-jdbc:3.13.22,net.snowflake:spark-snowflake_2.12:2.12.0-spark_3.4

Copy

AWS 外部S3バケットの準備¶

コネクターでSnowflakeとSparkの間でデータを交換するために使用する外部S3バケットを準備します。次に、場所に必要な AWS 認証情報とともに、場所情報をコネクターに提供します。詳細については、次のトピックの「データ交換のためのS3の認証」をご参照ください。

Azure Blobストレージコンテナの準備¶

コネクターでSnowflakeとSparkの間でデータを交換するために使用する外部Azure Blobストレージコンテナを準備します。次に、場所に必要なAzure認証情報とともに、場所情報をコネクターに提供します。詳細については、次のトピックの「データ交換のためのAzureの認証」をご参照ください。