Snowpark Migration Accelerator: Verwendung von SMA mit Jupyter Notebooks

Kann ich Python Notebooks (.ipynb-Dateien) in dem Tool verwenden?

Ja ! Legen Sie Ihre Notebooks-Dateien (.ipynb) in dem Verzeichnis ab, das Sie als Eingabe für das Tool gewählt haben. Die Notebooks können sich in einem beliebigen Unterordner dieses Verzeichnisses befinden. Sie können sowohl Python-Dateien (.py) als auch Notebook-Dateien (.ipynb) in Ihr Verzeichnis oder dessen Unterordner aufnehmen. Das Tool verarbeitet alle kompatiblen Dateien, unabhängig davon, wo sie sich in der Verzeichnisstruktur befinden.

Converting notebook files (.ipynb) to Python (.py) files offers several advantages:

  1. Bessere Versionskontrolle: Python-Dateien lassen sich in Versionskontrollsystemen wie Git leichter verfolgen und verwalten

  2. Verbesserte Zusammenarbeit: Teammitglieder können Code effizienter in Standard-Python-Dateien überprüfen und bearbeiten

  3. Leichtere Automatisierung: Python-Dateien können direkt in automatisierten Pipelines und geplanten Aufträgen ausgeführt werden

  4. Sauberere Organisation des Codes: Python-Dateien fördern eine bessere Codestruktur und Modularität

  5. Geringere Dateigröße: Python-Dateien sind in der Regel kleiner als Notebook-Dateien, die zusätzliche Metadaten enthalten

Sie haben zwei Möglichkeiten:

  1. Behalten Sie Ihre Notebook so, wie sie sind, wenn Sie sie weiterhin im Notebook-Format verwenden möchten. SMA kann Notebooks direkt analysieren und konvertieren.

  2. Extrahieren Sie den Python-Code in .py-Dateien, wenn Sie nicht mehr mit Notebooks arbeiten möchten. Dies ist zwar durch eine Umgehung möglich, aber nicht notwendig, da SMA sowohl Notebooks als auch Python-Dateien verarbeiten kann.

Um nur den Python-Code aus Jupyter-Notebook-Dateien zu extrahieren, können Sie das nbconvert–Dienstprogramm verwenden. Das geht so:

  1. Install the nbconvert package using one of these commands:

    • For Windows/Linux: pip install nbconvert

    • For MacOS: pip3 install nbconvert or python3 -m pip install nbconvert

  2. Erstellen Sie eine Sicherungskopie des Verzeichnisses Ihres Jupyter-Notebooks

  3. Konvertieren Sie alle Jupyter-Notebooks über die Kommandozeile in Python-Skripte:

    • For Windows/Linux: find /path/to/folder/with/notebooks -name '*.ipynb' | xargs python -m nbconvert --to script

    • For MacOS: find /path/to/folder/with/notebooks -name '*.ipynb' | xargs python3 -m nbconvert --to script

    Dadurch werden Python-Skriptdateien in demselben Verzeichnis wie Ihre Notebooks erstellt.

  4. Verarbeiten Sie die konvertierten Python-Dateien, indem Sie SMA für Python im Ausgabeverzeichnis ausführen.