Instalação e configuração do conector Spark¶

Etapa 1: Baixar a versão mais recente do Conector do Snowflake para Spark¶

O Snowflake fornece múltiplas versões do conector. Baixe a versão apropriada, com base no seguinte:

• A versão do Conector do Snowflake para Spark que você deseja usar.

• A versão do Spark que você está usando.

• A versão do Scala que você está usando.

Você pode baixar o Conector do Snowflake para Spark do Maven. Se você quiser criar o driver, pode acessar o código-fonte a partir do Github.

Etapa 2: Baixar a versão compatível do driver Snowflake JDBC¶

Em seguida, você precisa baixar a versão do driver Snowflake JDBC que é compatível com a versão do Conector do Snowflake para Spark que você está usando.

O driver Snowflake JDBC é fornecido como um pacote Java padrão através da página do driver JDBC no repositório central Maven. Você pode baixar o pacote como um arquivo .jar ou pode fazer referência direta ao pacote. Estas instruções consideram que você está fazendo referência ao pacote.

Para encontrar a versão com suporte do driver Snowflake JDBC para a versão do Conector do Snowflake para Spark que você está usando, consulte Notas de lançamento de Snowflake Connector for Spark.

Para obter mais detalhes sobre como baixar e instalar o driver Snowflake JDBC, consulte Download/integração do driver JDBC.

Etapa 3 (opcional): Verificar a assinatura do pacote do Conector do Snowflake para Spark¶

Para verificar a assinatura do pacote do Conector do Snowflake para Spark:

1. A partir do servidor de chaves públicas, baixe e importe a chave pública do Snowflake GPG para a versão do Conector do Snowflake para Spark que você está usando:

   • Para a versão 2.11.1 e superior:

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys 630D9F3CAB551AF3

   • Para a versão 2.8.2 a 2.11.0:

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys 37C7086698CB005C

   • Para a versão 2.4.13 até 2.8.1:

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys EC218558EABB25A1

   • Para a versão 2.4.12 e inferior:

     $ gpg --keyserver hkp://keyserver.ubuntu.com --recv-keys 93DB296A69BE019A

   Nota

   Se esse comando falhar com o seguinte erro:

   gpg: keyserver receive failed: Server indicated a failure
   

   Copy

   depois especifique que você deseja usar a porta 80 para o servidor de chaves:

   gpg --keyserver hkp://keyserver.ubuntu.com:80  ...
   

   Copy

2. Execute o comando gpg --verify para verificar a assinatura do pacote.

   Para o sinalizador de linha de comando --verify, especifique o arquivo .asc que você baixou anteriormente como o arquivo de assinatura e o arquivo JAR como o arquivo contendo os dados assinados.

   $ gpg --verify spark-snowflake_x.xx-N.N.N-spark_P.P.jar.asc spark-snowflake_x.xx-N.N.N-spark_P.P.jar
   gpg: Signature made Wed 22 Feb 2017 04:31:58 PM UTC using RSA key ID <gpg_key_id>
   gpg: Good signature from "Snowflake Computing <snowflake_gpg\ @snowflake.net>"
   

   Copy

   onde:

   • x.xx é a versão do Scala (por exemplo, 2.12).

   • N.N.N é a versão do conector do Snowflake para Spark (por exemplo, 2.12.0).

   • P.P é a versão do Spark (por exemplo, 3.4).

   Nota

   A verificação da assinatura produz um aviso semelhante ao seguinte:

   gpg: Signature made Mon 24 Sep 2018 03:03:45 AM UTC using RSA key ID <gpg_key_id>
   gpg: Good signature from "Snowflake Computing <snowflake_gpg@snowflake.net>" unknown
   gpg: WARNING: This key is not certified with a trusted signature!
   gpg: There is no indication that the signature belongs to the owner.
   

   Copy

   Para evitar o aviso, você pode conceder confiança implícita à chave pública GPG do Snowflake.

3. Seu ambiente local pode conter múltiplas chaves GPG. Entretanto, por razões de segurança, o Snowflake alterna periodicamente a chave pública GPG. Nossa prática recomendada é excluir a chave pública existente depois de confirmar que a última chave funciona com o último pacote assinado. Por exemplo:

   $ gpg --delete-key "Snowflake Computing"
   

   Copy

Etapa 4: Configurar o cluster Spark local ou ambiente Spark hospedado no Amazon EMR¶

Se você tiver uma instalação do Spark local, ou uma instalação do Spark no Amazon EMR, precisa configurar o programa spark-shell para incluir tanto o driver Snowflake JDBC quanto o Conector Spark:

• Para incluir o driver Snowflake JDBC, use a opção --package para fazer referência ao pacote JDBC da página do driver JDBC no Repositório central Maven, fornecendo a versão exata do driver que deseja usar (por exemplo, net.snowflake:snowflake-jdbc:3.13.30).

• Para incluir o Conector Spark, use a opção --package para fazer referência ao pacote apropriado (Scala 2.12 ou `Scala 2.13`__) hospedado no Repositório central Maven, fornecendo a versão exata do driver que você deseja usar (por exemplo, net.snowflake:spark-snowflake_2.12:2.12.0-spark_3.4).

Por exemplo:

spark-shell --packages net.snowflake:snowflake-jdbc:3.13.22,net.snowflake:spark-snowflake_2.12:2.12.0-spark_3.4

Copy

Preparação de um bucket AWS S3 externo¶

Prepare um bucket S3 externo que o conector possa usar para trocar dados entre o Snowflake e o Spark. Você então fornece ao conector as informações de localização, juntamente com as credenciais necessárias da AWS para a localização. Para obter mais detalhes, consulte Autenticação do S3 para troca de dados no próximo tópico.

Preparação de um contêiner de armazenamento de blobs do Azure¶

Prepare um contêiner de armazenamento de blobs do Azure externo que o conector possa usar para trocar dados entre o Snowflake e o Spark. Você então fornece ao conector as informações de localização, juntamente com as credenciais do Azure necessárias para a localização. Para obter mais detalhes, consulte Autenticação do Azure para troca de dados no próximo tópico.