Instalação do Snowpark Submit¶

Você pode instalar Snowpark Submit para executar cargas de trabalho do Spark orientadas a lote diretamente na infraestrutura do Snowflake.

Para instalar Snowpark Submit, conclua as seguintes etapas:

1. Instale Snowpark Submit usando pip.

   pip install snowpark-submit
   

   Copy

2. Em um arquivo connections.toml para autenticação do Snowflake, adicione uma conexão chamada snowpark-submit.

   Se você ainda não tiver esse arquivo, crie um conforme descrito em Conexão usando o arquivo connections.toml.

   [snowpark-submit]
   host = "<account>.snowflakecomputing.com"
   port = 443
   account = "<account>"
   user = "test_user"
   role = "test_role"
   password = "<password for user>"
   protocol = "https"
   warehouse = "test_warehouse"
   database = "test_db"
   schema = "test_schema"
   compute_pool = "test_compute_pool"
   

   Copy

3. Verifique se você consegue se conectar ao Snowflake por meio do computador cliente.

   Para verificar se a conexão funciona por meio de seu computador cliente, crie um arquivo .py com código que se conecta ao Snowflake.

   1. Criar um arquivo connection_test.py e, em seguida, adicione o seguinte código:

      # connection_test.py code
      
      import sys
      import snowflake.connector
      
      conn_name = sys.argv[1]
      
      print(f"Trying connection named {conn_name}..")
      conn = snowflake.connector.connect(connection_name=conn_name)
      print("Connected.")
      
      cursor = conn.cursor()
      cursor.execute("SELECT 'Connection successful'")
      for col in cursor:
          print(col)
      
      print("\nListing first 5 tables:\n")
      cursor = conn.cursor()
      cursor.execute('show tables limit 5')
      for col in cursor:
          print(col)
      print("\nDone")
      

      Copy

   2. Em seu ambiente virtual Python ativo, execute o seguinte comando, especificando o nome da conexão que você adicionou ao seu arquivo connections.toml.

      python connection_test.py snowpark-submit
      

      Copy