Installieren und Konfigurieren des Spark-Konnektors¶

Schritt 1: Neueste Version des Snowflake-Konnektors für Spark herunterladen¶

Snowflake bietet mehrere Versionen des Konnektors an. Sie müssen die entsprechende Version auf Basis folgender Aspekte herunterladen:

• Die Version des Snowflake-Konnektors für Spark, die Sie verwenden möchten.

• Die Spark-Version, die Sie verwenden.

• Die Scala-Version, die Sie verwenden.

Sie können den Snowflake-Konnektor für Spark von Maven herunterladen. Wenn Sie den Treiber erstellen möchten, können Sie den Quellcode von Github abrufen.

Schritt 2: Kompatible Version des Snowflake-JDBC-Treibers herunterladen¶

Als Nächstes müssen Sie die Version des Snowflake-JDBC-Treibers herunterladen, die mit der von Ihnen verwendeten Version des Snowflake-Spark-Konnektor kompatibel ist.

Der Snowflake-JDBC-Treiber wird als Standard-Java-Paket über die Seite für den JDBC-Treiber im Maven Central Repository bereitgestellt. Sie können das Paket entweder als .jar-Datei herunterladen oder direkt das Paket referenzieren. Bei dieser Anleitung wird davon ausgegangen, dass Sie das Paket referenzieren.

Informationen zu der für Ihre Version des Snowflake-Spark-Konnektors unterstützte Version des Snowflake-JDBC-Treibers finden Sie unter Snowflake Connector for Spark-Versionshinweise.

Weitere Informationen zum Herunterladen und Installieren des Snowflake-JDBC-Treibers finden Sie unter Herunterladen und Integrieren des JDBC-Treibers.

Schritt 3 (optional): Überprüfen der Paketsignatur des Snowflake-Konnektors für Spark¶

So überprüfen Sie die Paketsignatur des Snowflake-Konnektors für Spark:

1. Laden Sie vom öffentlichen Keyserver den öffentlichen Snowflake-GPG-Schlüssel in der von Ihnen verwendeten Version des Snowflake-Konnektors für Spark herunter, und importieren Sie diesen:

   • Für Version 2.11.1 und höher:

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys 630D9F3CAB551AF3

   • Für die Versionen 2.8.2 bis 2.11.0:

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys 37C7086698CB005C

   • Für Version 2.4.13 bis 2.8.1:

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys EC218558EABB25A1

   • Für Version 2.4.12 und niedriger:

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys 93DB296A69BE019A

   Bemerkung

   Wenn dieser Befehl mit der folgenden Fehlermeldung fehlschlägt:

   gpg: keyserver receive failed: Server indicated a failure
   

   Copy

   Geben Sie an, dass Sie für den Keyserver Port 80 verwenden möchten:

   gpg --keyserver hkp://keyserver.ubuntu.com:80  ...
   

   Copy

2. Führen Sie den Befehl gpg --verify aus, um die Signatur des Pakets zu überprüfen.

   Geben Sie für das Kommandozeilenflag --verify die .asc-Datei, die sie zuvor heruntergeladen haben, als Signaturdatei an, und die JAR-Datei als Datei mit den signierten Daten.

   $ gpg --verify spark-snowflake_x.xx-N.N.N-spark_P.P.jar.asc spark-snowflake_x.xx-N.N.N-spark_P.P.jar
   gpg: Signature made Wed 22 Feb 2017 04:31:58 PM UTC using RSA key ID <gpg_key_id>
   gpg: Good signature from "Snowflake Computing <snowflake_gpg\ @snowflake.net>"
   

   Copy

   Wobei:

   • x.xx ist die Scala-Version (z. B. 2.12).

   • N.N.N ist die Version des Snowflake-Konnektors für Spark (z. B. 2.12.0).

   • P.P ist die Spark-Version (z. B. 3.4).

   Bemerkung

   Die Überprüfung der Signatur führt zu einer Warnung ähnlich der folgenden:

   gpg: Signature made Mon 24 Sep 2018 03:03:45 AM UTC using RSA key ID <gpg_key_id>
   gpg: Good signature from "Snowflake Computing <snowflake_gpg@snowflake.net>" unknown
   gpg: WARNING: This key is not certified with a trusted signature!
   gpg: There is no indication that the signature belongs to the owner.
   

   Copy

   Um die Warnung zu vermeiden, können Sie dem öffentlichen Snowflake-GPG-Schlüssel implizites Vertrauen gewähren.

3. Ihre lokale Umgebung kann mehrere GPG-Schlüssel enthalten. Aus Sicherheitsgründen rotiert Snowflake jedoch regelmäßig den öffentlichen GPG-Schlüssel. Als Best Practice empfehlen wir, den vorhandenen öffentlichen Schlüssel zu löschen, nachdem wir bestätigt haben, dass der letzte Schlüssel mit dem zuletzt signierten Paket funktioniert. Beispiel:

   $ gpg --delete-key "Snowflake Computing"
   

   Copy

Schritt 4: Lokales Spark-Cluster oder die von Amazon EMR gehostete Spark-Umgebung konfigurieren¶

Wenn Sie eine lokale Spark-Installation oder eine Spark-Installation in Amazon EMR verwenden, müssen Sie das spark-shell-Programm so konfigurieren, dass es sowohl den Snowflake-JDBC-Treiber als auch den Spark-Konnektor enthält:

• Zum Einbinden des Snowflake-JDBC-Treibers verwenden Sie die Option --package mit der Referenz zum JDBC-Paket auf der Seite für den JDBC-Treiber im Maven Central Repository, das die passende Version des gewünschten Treibers bereitstellt (z. B. net.snowflake:snowflake-jdbc:3.13.30).

• Zum Einbinden des Spark-Konnektors verwenden Sie die Option --package mit der Referenz zum entsprechenden Paket (Scala 2.12 oder Scala 2.13), das im Maven Central Repository gehostet wird und die passende Version des gewünschten Treibers enthält (z. B. net.snowflake:spark-snowflake_2.12:2.12.0-spark_3.4).

Beispiel:

spark-shell --packages net.snowflake:snowflake-jdbc:3.13.22,net.snowflake:spark-snowflake_2.12:2.12.0-spark_3.4

Copy

Vorbereiten eines externen AWS S3-Buckets¶

Bereiten Sie einen externen S3-Bucket vor, mit dem der Konnektor Daten zwischen Snowflake und Spark austauschen kann. Anschließend stellen Sie dem Konnektor die Speicherortinformationen sowie die für den AWS-Zugang am Speicherort erforderlichen Anmeldeinformationen zur Verfügung. Weitere Details dazu finden Sie unter dem nächsten Thema unter Authentifizierung von S3 für den Datenaustausch.

Vorbereiten eines Azure Blob-Speichercontainers¶

Bereiten Sie einen externen Azure Blob-Speichercontainer vor, über den der Konnektor Daten zwischen Snowflake und Spark austauschen kann. Stellen Sie anschließend dem Konnektor die Speicherortinformationen sowie die für den Azure-Zugang am Speicherort erforderlichen Anmeldeinformationen zur Verfügung. Weitere Details dazu finden Sie unter dem nächsten Thema unter Authentifizieren von Azure für den Datenaustausch.