Installation et configuration du connecteur Spark¶

Étape 1 : Téléchargement de la dernière version du connecteur Snowflake pour Spark¶

Snowflake fournit plusieurs versions du connecteur. Téléchargez la version appropriée en fonction des éléments suivants :

• La version du connecteur Snowflake pour Spark que vous souhaitez utiliser.

• La version de Spark que vous utilisez.

• La version de Scala que vous utilisez.

Vous pouvez télécharger le connecteur Snowflake Spark à partir de Maven. Si vous voulez construire le pilote, vous pouvez accéder au code source sur Github.

Étape 2 : Téléchargement de la version compatible du pilote JDBC Snowflake¶

Ensuite, vous devez télécharger la version du pilote JDBC de Snowflake qui est compatible avec la version du connecteur Snowflake Spark que vous utilisez.

Le pilote JDBC Snowflake est fourni comme pack Java standard via la page Pilote JDBC du dépôt central de Maven. Vous pouvez soit télécharger le pack sous la forme d’un fichier .jar, ou vous pouvez directement faire référence au pack. Ces instructions supposent que vous faites référence au pack.

Pour trouver la version prise en charge par le pilote JDBC de Snowflake pour la version du Snowflake Spark Connector que vous utilisez, voir Notes de version de Snowflake Connector for Spark.

Pour plus de détails sur le téléchargement et l’installation du pilote JDBC Snowflake, voir Téléchargement/intégration du pilote JDBC.

Étape 3 (facultative) : Vérification du connecteur Snowflake pour la signature du pack Spark¶

Pour vérifier le connecteur Snowflake pour la signature du pack Spark :

1. Depuis le serveur de clés publiques, téléchargez et importez la clé publique Snowflake GPG pour la version du connecteur Snowflake pour Spark que vous utilisez :

   • Pour les versions 2.11.1 et supérieures :

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys 630D9F3CAB551AF3

   • Pour les versions 2.8.2 à 2.11.0 :

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys 37C7086698CB005C

   • Pour les versions 2.4.13 à 2.8.1 :

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys EC218558EABB25A1

   • Pour les versions 2.4.12 et inférieures :

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys 93DB296A69BE019A

   Note

   Si cette commande échoue avec l’erreur suivante :

   gpg: keyserver receive failed: Server indicated a failure
   

   Copy

   alors spécifiez que vous voulez utiliser le port 80 pour le serveur de clés :

   gpg --keyserver hkp://keyserver.ubuntu.com:80  ...
   

   Copy

2. Exécutez la commande gpg --verify pour vérifier la signature du pack.

   Pour l’indicateur de ligne de commande --verify, spécifiez le fichier .asc que vous avez téléchargé précédemment comme fichier de signature et le fichier JAR comme fichier contenant les données signées.

   $ gpg --verify spark-snowflake_x.xx-N.N.N-spark_P.P.jar.asc spark-snowflake_x.xx-N.N.N-spark_P.P.jar
   gpg: Signature made Wed 22 Feb 2017 04:31:58 PM UTC using RSA key ID <gpg_key_id>
   gpg: Good signature from "Snowflake Computing <snowflake_gpg\ @snowflake.net>"
   

   Copy

   où :

   • x.xx est la version de Scala (par exemple 2.12).

   • N.N.N est la version du connecteur Snowflake pour Spark (par exemple 2.12.0).

   • P.P est la version de Spark (par ex. 3.4).

   Note

   La vérification de la signature crée un avertissement similaire à celui qui suit :

   gpg: Signature made Mon 24 Sep 2018 03:03:45 AM UTC using RSA key ID <gpg_key_id>
   gpg: Good signature from "Snowflake Computing <snowflake_gpg@snowflake.net>" unknown
   gpg: WARNING: This key is not certified with a trusted signature!
   gpg: There is no indication that the signature belongs to the owner.
   

   Copy

   Pour éviter l’avertissement, vous pouvez accorder la confiance implicite à la clé publique GPG Snowflake.

3. Votre environnement local peut contenir plusieurs clés GPG. Cependant, pour des raisons de sécurité, Snowflake fait tourner périodiquement la clé publique GPG. Nous recommandons de supprimer la clé publique existante après avoir confirmé que la dernière clé fonctionne avec le dernier pack signé. Par exemple :

   $ gpg --delete-key "Snowflake Computing"
   

   Copy

Étape 4 : Configuration du cluster local Spark ou de l’environnement Spark hébergé sur Amazon EMR¶

Si vous avez une installation Spark locale ou une installation Spark dans Amazon EMR, vous devez configurer le programme spark-shell pour inclure le pilote JDBC Snowflake et le connecteur Spark :

• Pour inclure le pilote JDBC Snowflake, utilisez l’option --package pour faire référence au pack JDBC provenant de la page Pilote JDBC dans le Maven Central Repository, fournissant la version exacte du pilote que vous souhaitez utiliser (c-à-d net.snowflake:snowflake-jdbc:3.13.30).

• Pour inclure le connecteur Spark, utilisez l’option --package pour faire référence au pack correspondant (Scala 2.12 ou Scala 2.13) hébergé dans le Maven Central Repository fournissant la version exacte du pilote que vous souhaitez utiliser (c-à-d net.snowflake:spark-snowflake_2.12:2.12.0-spark_3.4).

Par exemple :

spark-shell --packages net.snowflake:snowflake-jdbc:3.13.22,net.snowflake:spark-snowflake_2.12:2.12.0-spark_3.4

Copy

Préparation d’un compartiment S3 AWS externe¶

Préparez un compartiment S3 externe que le connecteur peut utiliser pour échanger des données entre Snowflake et Spark. Vous fournissez ensuite au connecteur les informations d’emplacement, ainsi que les informations d’identification AWS nécessaires pour l’emplacement. Pour plus de détails, voir Authentification S3 pour l’échange de données dans le chapitre suivant.

Préparation d’un conteneur de stockage Azure Blob¶

Préparez un conteneur de stockage externe Azure Blob que le connecteur peut utiliser pour échanger des données entre Snowflake et Spark. Vous fournissez ensuite au connecteur les informations d’emplacement, ainsi que les informations d’identification Azure nécessaires pour l’emplacement. Pour plus de détails, voir Authentification Azure pour l’échange de données dans le chapitre suivant.