Utilisation des fichiers dans des Snowflake Notebooks¶

Fichiers dans les environnements de notebooks¶

Lorsque vous créez un nouveau notebook, deux fichiers sont créés. Vous pouvez les voir dans le volet Files sur le côté gauche du notebook. Les fichiers sont mis dans une zone de préparation interne qui représente l’environnement de votre notebook. Les fichiers mis en zone de préparation interne persistent entre les sessions.

• Fichier principal du notebook : par défaut, il est nommé notebook_app.ipynb. Si votre notebook est créé à partir de Git ou chargé à partir d’un autre fichier .ipynb , le nom du fichier peut être différent.

• environment.yml : il s’agit d’un fichier autogénéré qui décrit l’environnement de votre notebook, par exemple les paquets installés.

Pour inspecter le contenu du fichier, vous pouvez sélectionner le nom du fichier et une fenêtre contextuelle apparaîtra avec un aperçu du contenu du fichier. Notez que les fichiers sont en lecture seule. Pour modifier le contenu d’un fichier, vous devez le télécharger, le modifier localement, puis charger la copie mise à jour.

Système de fichiers temporaire dans l’environnement d’un notebook¶

Votre notebook dispose d’un système de fichiers temporaire qui est disponible pendant une session active. Tous les fichiers créés pendant la session sont mis dans une zone de préparation temporaire. Les fichiers en zone de préparation temporaire ne seront plus disponibles une fois que vous aurez quitté la session du notebook en cours.

Le code suivant crée un fichier appelé myfile.txt et y écrit du texte :

with open("myfile.txt",'w') as f:
    f.write("abc")
f.close()

Vous pouvez accéder à ce fichier au cours de la même session que celle où il a été créé.

Utilisez la méthode listdir() pour dresser la liste des fichiers mis en zone de préparation temporaire :

import os
os.listdir()

Déconnectez-vous maintenant de votre session en cours et reconnectez-vous. Essayez à nouveau la méthode listdir() et le fichier myfile.txt n’apparaîtra pas dans la liste.

Accédez aux fichiers de données dans une zone de préparation Snowflake.¶

Si vous souhaitez que vos fichiers persistent entre les sessions et qu’ils soient référencés dans différents notebooks, utilisez une zone de préparation Snowflake pour les stocker. Vous pouvez charger des fichiers de votre machine locale sur la zone de préparation et utiliser les opérations de fichiers de l’API Snowpark pour y accéder depuis votre notebook.

CREATE OR REPLACE STAGE permanent_stage;

with open("myfile.txt",'w') as f:
  f.write("abc")
f.close()

from snowflake.snowpark.context import get_active_session
session = get_active_session()

put_result = session.file.put("myfile.txt","@PERMANENT_STAGE", auto_compress= False)
put_result[0].status

LS @permanent_stage;

Ajouter des fichiers au notebook à partir d’un ordinateur local¶

Vous pouvez charger des fichiers depuis votre ordinateur local pour les utiliser dans votre notebook Snowflake.

1. Connectez-vous à Snowsight.

2. Sélectionnez Projects » Notebooks.

3. Dans l’onglet Files, à côté de l’explorateur d’objets de base de données, sélectionnez l’icône pour sélectionner les fichiers à charger.

4. Parcourez et sélectionnez ou glissez-déposez des fichiers dans la boîte de dialogue.

5. Sélectionnez Upload pour charger votre fichier.

Les fichiers chargés sont enregistrés dans une zone de préparation interne du notebook et conservés entre les sessions. Vous pouvez référencer les fichiers chargés en utilisant leurs chemins locaux à partir du fichier notebook. Voir Référencement de fichiers dans les notebooks.

Synchronisation avec les fichiers depuis Git¶

Si votre notebook est lié à Git, tous les fichiers se trouvant dans le même dossier Git que votre notebook seront affichés dans l’onglet Files.

Pour plus d’informations sur le travail avec les fichiers dans Git, consultez Synchroniser Snowflake Notebooks avec un référentiel Git.

Référencement de fichiers dans les notebooks¶

Chaque fichier dans l’environnement du notebook possède un chemin d’accès à la zone de préparation et un chemin d’accès local. Vous pouvez utiliser ces chemins pour référencer le fichier dans le notebook.

import pandas as pd
df = pd.read_csv("data.csv")

snow://notebook/<DATABASE>.<SCHEMA>.<NOTEBOOK_NAME>/versions/live/<file_name>

LIST 'snow://notebook/<DATABASE>.<SCHEMA>.<NOTEBOOK_NAME>/versions/live/data.csv'

Exigences en matière de contrôle d’accès¶

Vous devez utiliser un rôle doté des privilèges suivants pour accéder aux fichiers d’une zone de préparation dans un notebook.

Limites et considérations¶

• Chargez les fichiers avant de démarrer votre session de notebook. Si vous chargez des fichiers après le démarrage d’une session, vous devez redémarrer votre session pour accéder aux fichiers.

• Aucune restriction sur les types de fichiers à charger.

• La taille maximale d’un fichier est de 250 MB.

• Les fichiers qui sont écrits sur un chemin local dans le notebook n’apparaissent pas sur l’UI Files. Il s’agit d’un bogue connu. Cependant, vous devriez toujours pouvoir utiliser le fichier dans le code de votre notebook.

  Par exemple, si vous créez un fichier, data.json, vous pouvez y accéder comme indiqué dans le code suivant, même s’il ne sera pas visible dans l’UI Files :

  # Generate sample JSON file
  with open("data.json", "w") as f:
      f.write('{"fruit":"apple", "size":3.4, "weight":1.4},{"fruit":"orange", "size":5.4, "weight":3.2}')
  # Read from local JSON file (File doesn't show in UI)
  df = pd.read_json("data.json",lines=True)
  df
  

  Copy

• L’ouverture d’un autre fichier .ipynb qui n’est pas le fichier principal du notebook n’est pas prise en charge.

Ressources supplémentaires¶

• Pour des exemples supplémentaires, consultez les notebooks d’exemples suivants sur Github :

  • Comment travailler avec des fichiers dans Snowflake Notebooks

  • Navigation au sein des fichiers dans Snowflake Notebooks