Installer Snowpark Submit¶

Vous pouvez installer Snowpark Submit pour exécuter des charges de travail Spark par lots directement sur l’infrastructure de Snowflake.

Pour installer Snowpark Submit, procédez comme suit :

1. Installez Snowpark Submit en utilisant pip.

   pip install snowpark-submit
   

   Copy

2. Dans un fichier connexions.toml pour l’authentification Snowflake, ajoutez une connexion Snowflake. Si vous disposez déjà d’une connexion Snowflake, vous pouvez utiliser cette connexion.

   Si vous ne disposez pas déjà d’un fichier connections.toml, créez-en un comme décrit dans Connexion à l’aide du fichier connections.toml.

   Une fois que vous disposez d’un fichier connexions.toml, vous pouvez y ajouter une connexion Snowflake. Par exemple, pour ajouter une connexion Snowflake appelée``snowpark-submit``, ajoutez les lignes suivantes au fichier de configuration :

   [snowpark-submit]
   host = "<account>.snowflakecomputing.com"
   port = 443
   account = "<account>"
   user = "test_user"
   role = "test_role"
   password = "<password for user>"
   protocol = "https"
   warehouse = "test_warehouse"
   database = "test_db"
   schema = "test_schema"
   compute_pool = "test_compute_pool"
   

   Copy

3. Vérifiez que vous pouvez vous connecter à Snowflake depuis votre ordinateur client.

   Pour vérifier que la connexion fonctionne depuis votre ordinateur client, créez un fichier .py contenant du code qui se connecte à Snowflake.

   1. Créez un fichier connection_test.py, puis ajoutez le code suivant :

      # connection_test.py code
      
      import sys
      import snowflake.connector
      
      conn_name = sys.argv[1]
      
      print(f"Trying connection named {conn_name}..")
      conn = snowflake.connector.connect(connection_name=conn_name)
      print("Connected.")
      
      cursor = conn.cursor()
      cursor.execute("SELECT 'Connection successful'")
      for col in cursor:
          print(col)
      
      print("\nListing first 5 tables:\n")
      cursor = conn.cursor()
      cursor.execute('show tables limit 5')
      for col in cursor:
          print(col)
      print("\nDone")
      

      Copy

   2. À partir de votre environnement virtuel Python actif, exécutez la commande suivante, en spécifiant le nom de la connexion que vous avez ajoutée à votre fichier connections.toml.

      python connection_test.py snowpark-submit
      

      Copy

Une fois que vous avez vérifié que vous pouvez vous connecter à Snowflake à partir de votre ordinateur client, vous pouvez utiliser Snowpark Submit pour exécuter des charges de travail Spark par lots directement sur l’infrastructure de Snowflake. Consultez Référence Snowpark Submit pour voir la référence de ligne de commande Snowpark Submit ou Exemples Snowpark Submit pour obtenir des exemples d’utilisation de Snowpark Submit.