Écriture de code Snowpark dans des feuilles de calcul Python¶

Lisez et acceptez les conditions d’utilisation d’Anaconda¶

Avant de commencer à utiliser les paquets fournis par Anaconda dans Snowflake, vous devez accepter les conditions des offres externes.

1. Connectez-vous à Snowsight.

2. Sélectionnez Admin » Billing & Terms.

3. Dans la section Anaconda, sélectionnez Enable.

4. Dans la boîte de dialogue Anaconda Packages , cliquez sur le lien pour consulter la page des conditions des offres externes.

5. Si vous acceptez les conditions, sélectionnez Acknowledge & Continue.

Si une erreur apparaît lorsque vous essayez d’accepter les conditions d’utilisation, il se peut qu’il manque un prénom, un nom ou une adresse e-mail dans votre profil d’utilisateur. Si vous avez un rôle d’administrateur, reportez-vous aux Ajouter des détails sur l’utilisateur à votre profil d’utilisateur pour mettre à jour votre profil à l’aide de Snowsight. Sinon, contactez un administrateur pour mettre à jour votre compte.

Ajouter un fichier Python d’une zone de préparation à une feuille de calcul¶

Snowflake inclut les paquets Snowpark du canal Snowflake Anaconda dans les feuilles de calcul Python.

Si vous souhaitez utiliser d’autres fichiers ou paquets Python que ceux inclus dans Anaconda dans votre feuille de calcul Python, vous devez télécharger les fichiers vers une zone de préparation nommée dans Snowflake, puis les ajouter à la liste des paquets installés de votre feuille de calcul Python.

Pour utiliser un paquet Python dans votre feuille de calcul, procédez comme suit :

1. Connectez-vous à Snowsight.

2. Ouvrez Projects » Worksheets.

3. Sélectionnez + » Python Worksheet.

4. Sélectionnez une base de données et un schéma.

5. Sélectionnez Packages » Stage Packages.

6. Entrez le chemin d’accès au paquet dans la zone de préparation :

   • Si la base de données et le schéma sélectionnés pour la feuille de calcul contiennent la zone de préparation où se trouve le paquet, vous pouvez faire référence à la zone de préparation à l’aide d’un nom non qualifié. Par exemple, @YourStage/path/to/example_package.py.

   • Pour faire référence à une zone de préparation dans une base de données et un schéma différents, qualifiez entièrement le nom de la zone de préparation. Par exemple, @Database.Schema.Stage/path/to/other_package.py.

7. Sélectionnez Import pour ajouter votre paquet à la liste des paquets installés.

8. Vous pouvez ensuite utiliser les instructions import pour utiliser le paquet dans votre feuille de calcul Python. Par exemple, après avoir importé les paquets des fichiers example_package.py et other_package.py, écrivez le code suivant pour importer une fonction appelée function du fichier example_package, et importez le paquet other_package pour l’utiliser dans votre code :

   from example_package import function
   import other_package
   

   Copy

Pour plus de détails, voir Mettre les dépendances à la disposition de votre code.

Renvoyer les résultats d’un type de données différent¶

Lorsque vous écrivez votre code Python, tenez compte du type de données renvoyé par l’instruction return dans votre code et ajustez la manière dont la feuille de calcul renvoie les résultats. Par défaut, une feuille de calcul Python a un type de retour de Table() car le code de caractère de remplacement renvoie un DataFrame.

En fonction de ce que votre code Python renvoie, vous souhaiterez peut-être modifier les paramètres de la feuille de calcul pour afficher la sortie différemment :

• Si votre fonction de gestionnaire renvoie un DataFrame, utilisez le type de retour par défaut de Table().

• Si votre fonction de gestionnaire renvoie une liste d’objets Row comme avec la méthode collect , remplacez le type de retour par Variant.

• Si votre fonction de gestionnaire renvoie une chaîne, telle que return "Hello Python", ou une valeur que vous souhaitez convertir en chaîne, remplacez le type de retour par String.

• Si votre fonction de gestionnaire renvoie un entier, comme avec la méthode count , utilisez un type de retour de Variant ou String.

Pour plus de détails sur le type de retour de certaines méthodes DataFrame, reportez-vous à Exécution d’une action pour évaluer un DataFrame.

Pour mettre à jour les paramètres de la feuille de calcul afin de renvoyer des résultats d’un type différent, procédez comme suit :

1. Connectez-vous à Snowsight.

2. Ouvrez Projects » Worksheets.

3. Ouvrez la feuille de calcul Python pour laquelle vous souhaitez afficher les résultats sous forme de tableau.

4. Sélectionnez un entrepôt à utiliser pour exécuter la feuille de calcul. Si vous avez un entrepôt par défaut pour votre utilisateur, il est présélectionné. Assurez-vous que votre entrepôt fonctionne.

5. Sélectionnez Settings et pour le Return type, sélectionnez le type renvoyé par la fonction de gestionnaire.

6. Exécutez votre feuille de calcul Python.

7. Examinez les résultats dans le panneau Results.

Passage d’arguments supplémentaires à la fonction de gestionnaire¶

Avec une feuille de calcul Python, vous pouvez tester une fonction Python qui prend un seul argument (un objet Snowpark Session) en désignant cette fonction comme gestionnaire de la feuille de calcul. Chaque fonction définie dans une feuille de calcul Python doit transmettre l’argument session: snowpark.Session.

Pour tester une fonction qui transmet des arguments supplémentaires, procédez comme suit :

1. Ajoutez les arguments à votre fonction.

2. Définissez une fonction séparée, à un seul argument, qui se transmet dans une Session Snowpark. Dans cette fonction, appelez la fonction à plusieurs arguments, en transmettant des valeurs pour les arguments supplémentaires, puis renvoyez la valeur de la fonction.

   Par exemple, pour écrire du code Python Snowpark qui filtre une table de paquets par la colonne du langage du paquet, vous pouvez écrire le code suivant :

   import snowflake.snowpark as snowpark
   from snowflake.snowpark.functions import col
   
   # Add parameters with optional type hints to the main handler function
   def main(session: snowpark.Session, language: str):
     # Your code goes here, inside the "main" handler.
     table_name = 'information_schema.packages'
     dataFrame = session.table(table_name).filter(col("language") == language)
   
     # Print a sample of the dataFrame to standard output
     dataFrame.show()
   
     # The return value appears in the Results tab
     return dataFrame
   
   # Add a second function to supply a value for the language parameter to validate that your main handler function runs.
   def test_language(session: snowpark.Session):
     return main(session, 'java')
   

   Copy

   Dans cet exemple, la fonction main est la fonction à plusieurs arguments et la fonction test_language est la fonction à un seul argument utilisée pour valider l’exécution de votre code avec les valeurs d’argument transmises.

3. Définissez la fonction à un seul argument comme fonction de gestionnaire pour exécuter la feuille de calcul et vérifiez que votre code s’exécute avec les valeurs des arguments.

   Dans cet exemple, remplacez le gestionnaire par la fonction test_language, puis sélectionnez Run. Vous pouvez modifier le gestionnaire dans la feuille de calcul Settings, ou sélectionner l’ampoule Show actions à côté de la fonction de gestionnaire et sélectionner Set function « test_language » as handler.

Lorsque vous déployez votre feuille de calcul Python en tant que procédure stockée, vous pouvez choisir la fonction de gestionnaire principale et examiner les arguments et les types mappés pour votre procédure stockée.

Examiner la sortie générée par votre code¶

Vous pouvez consulter les messages de sortie standard (stdout) ou d’erreur standard (stderr) pour votre code Python dans le panneau Output d’une feuille de calcul Python.

Vous pouvez voir le résultat des types de fonctions suivants dans le panneau Output :

• Fonctions qui écrivent dans la console, telles que print().

• Fonctions qui affichent un DataFrame, telles que la méthode show de la classe DataFrame dans Snowpark Python.

Examiner l’historique des requêtes pour une feuille de calcul Python¶

Lorsqu’une feuille de calcul Python s’exécute dans Snowsight, une procédure stockée anonyme exécute le code et génère des requêtes qui exécutent les commandes Snowpark dans le code.

Vous pouvez utiliser la page Query History dans Snowsight pour examiner les requêtes exécutées. Voir Examiner l’historique des requêtes à l’aide de Snowsight.

Par exemple, après avoir exécuté une feuille de calcul, vous pouvez passer en revue les requêtes exécutées en procédant comme suit :

1. Passez en revue les Results de la feuille de calcul.

2. Dans les Query Details de la feuille de calcul, sélectionnez » Copy Query ID

3. Sélectionnez Projects » Worksheets pour revenir à la liste des feuilles de calcul.

4. Sélectionnez Monitoring » Query History.

5. Sur la page Query History , affichez uniquement les requêtes de votre feuille de calcul Python :

   1. Sélectionnez Filters, et activez l’option Query ID.

   2. Entrez l’ID de requête de votre feuille de calcul Python.

   3. Sélectionnez Apply Filters.

6. Passez en revue les requêtes exécutées pour la feuille de calcul.

Exemple : Écrire un programme Snowpark simple¶

Dans cet exemple, écrivez un programme Python Snowpark qui génère une petite plage de nombres et écrit cette plage dans une table que votre code crée, ou écrase si elle existe déjà, dans Snowflake. Pour exécuter cet exemple de code, vous devez disposer du privilège CREATE TABLE sur le schéma de base de données auquel vous souhaitez ajouter la table.

1. Connectez-vous à Snowsight.

2. Ouvrez Projects » Worksheets.

3. Sélectionnez + » Python Worksheet.

4. Sélectionnez la base de données et le schéma auxquels vous souhaitez ajouter la table.

5. Sélectionnez un entrepôt à utiliser pour exécuter la feuille de calcul. Si vous avez un entrepôt par défaut pour votre utilisateur, il est présélectionné. Assurez-vous que votre entrepôt fonctionne.

6. Écrivez le code Python de Snowpark dans le cadre de la fonction main :

   import snowflake.snowpark as snowpark
   
   def main(session: snowpark.Session):
     tableName = "range_table"
     df_range = session.range(1, 10, 2).to_df('a')
     df_range.write.mode("overwrite").save_as_table(tableName)
     return tableName + " table successfully created"
   

   Copy

7. Sélectionnez Settings et pour le Return type, sélectionnez String pour le type renvoyé par la fonction de gestionnaire.

8. Exécutez le code.

Exemple : Transformer des données dans une feuille de calcul Python¶

Dans cet exemple, écrivez un code Python qui agrège les entrées de la vue TASK_HISTORY du schéma ACCOUNT_USAGE de la base de données SNOWFLAKE en fonction de l’heure et de l’état programmés et qui enregistre la sortie agrégée dans une table, aggregate_task_history.

1. Connectez-vous à Snowsight.

2. Ouvrez Projects » Worksheets.

3. Sélectionnez + » Python Worksheet.

4. Sélectionnez la base de données et le schéma auxquels vous souhaitez ajouter la table.

5. Sélectionnez un entrepôt à utiliser pour exécuter la feuille de calcul. Si vous avez un entrepôt par défaut pour votre utilisateur, il est présélectionné. Assurez-vous que votre entrepôt fonctionne.

6. Écrivez le code Python de Snowpark dans le cadre de la fonction main :

   import snowflake.snowpark as snowpark
   from snowflake.snowpark.functions import col
   from snowflake.snowpark.dataframe_reader import *
   from snowflake.snowpark.functions import *
   
   def main(session: snowpark.Session):
   
     inputTableName = "snowflake.account_usage.task_history"
     outputTableName = "aggregate_task_history"
   
     df = session.table(inputTableName)
     df.filter(col("STATE") != "SKIPPED")\
       .group_by(("SCHEDULED_TIME"), "STATE").count()\
       .write.mode("overwrite").save_as_table(outputTableName)
     return outputTableName + " table successfully written"
   

   Copy

7. Sélectionnez Settings et pour le Return type, sélectionnez String pour le type renvoyé par la fonction de gestionnaire.

8. Exécutez le code.

Après avoir exécuté votre code dans une feuille de calcul Python, vous pouvez ouvrir une feuille de calcul SQL et interroger la table. Voir Interrogation de données à l’aide de feuilles de calcul.

Exemple : Lire des fichiers à partir d’une zone de préparation avec des feuilles de calcul Python¶

Snowpark Python vous permet de lire des fichiers à partir d’une zone de préparation et d’en écrire le contenu dans une table ou de les enregistrer en tant que vue dans Snowflake. Dans cet exemple, le code Python lit le contenu d’un fichier compressé au format CSV contenant les données des employés, data_0_0_0.csv.gz de la zone de préparation nommée db1.public.files et écrit le contenu dans une table appelée employees.

1. Connectez-vous à Snowsight.

2. Ouvrez Projects » Worksheets.

3. Sélectionnez + » Python Worksheet.

4. Sélectionnez la base de données et le schéma auxquels vous souhaitez ajouter la table.

5. Sélectionnez un entrepôt à utiliser pour exécuter la feuille de calcul. Si vous avez un entrepôt par défaut pour votre utilisateur, il est présélectionné. Assurez-vous que votre entrepôt fonctionne.

6. Écrivez le code Python de Snowpark dans le cadre de la fonction main :

   import snowflake.snowpark as snowpark
   from snowflake.snowpark.types import *
   
   schema_for_file = StructType([
     StructField("name", StringType()),
     StructField("role", StringType())
   ])
   
   fileLocation = "@DB1.PUBLIC.FILES/data_0_0_0.csv.gz"
   outputTableName = "employees"
   
   def main(session: snowpark.Session):
     df_reader = session.read.schema(schema_for_file)
     df = df_reader.csv(fileLocation)
     df.write.mode("overwrite").save_as_table(outputTableName)
   
     return outputTableName + " table successfully written from stage"
   

   Copy

7. Sélectionnez Settings et pour le Return type, sélectionnez String pour le type renvoyé par la fonction de gestionnaire.

8. Exécutez le code.

Après avoir exécuté votre code dans une feuille de calcul Python, vous pouvez ouvrir une feuille de calcul SQL et interroger la table. Voir Interrogation de données à l’aide de feuilles de calcul.

Pour plus de détails sur l’utilisation des fichiers dans une zone de préparation en utilisant Snowpark, voir Utilisation de DataFrames dans Snowpark Python.