Snowpark Migration Accelerator: Verwendung von SMA mit Jupyter Notebooks

Kann ich Python Notebooks (.ipynb-Dateien) in dem Tool verwenden?

Ja ! Legen Sie Ihre Notebooks-Dateien (.ipynb) in dem Verzeichnis ab, das Sie als Eingabe für das Tool gewählt haben. Die Notebooks können sich in einem beliebigen Unterordner dieses Verzeichnisses befinden. Sie können sowohl Python-Dateien (.py) als auch Notebook-Dateien (.ipynb) in Ihr Verzeichnis oder dessen Unterordner aufnehmen. Das Tool verarbeitet alle kompatiblen Dateien, unabhängig davon, wo sie sich in der Verzeichnisstruktur befinden.

Die Konvertierung von Notebook-Dateien (.ipynb) in Python-Dateien (.py) bietet mehrere Vorteile:

  1. Bessere Versionskontrolle: Python-Dateien lassen sich in Versionskontrollsystemen wie Git leichter verfolgen und verwalten

  2. Verbesserte Zusammenarbeit: Teammitglieder können Code effizienter in Standard-Python-Dateien überprüfen und bearbeiten

  3. Leichtere Automatisierung: Python-Dateien können direkt in automatisierten Pipelines und geplanten Aufträgen ausgeführt werden

  4. Sauberere Organisation des Codes: Python-Dateien fördern eine bessere Codestruktur und Modularität

  5. Geringere Dateigröße: Python-Dateien sind in der Regel kleiner als Notebook-Dateien, die zusätzliche Metadaten enthalten

Sie haben zwei Möglichkeiten:

  1. Behalten Sie Ihre Notebook so, wie sie sind, wenn Sie sie weiterhin im Notebook-Format verwenden möchten. SMA kann Notebooks direkt analysieren und konvertieren.

  2. Extrahieren Sie den Python-Code in .py-Dateien, wenn Sie nicht mehr mit Notebooks arbeiten möchten. Dies ist zwar durch eine Umgehung möglich, aber nicht notwendig, da SMA sowohl Notebooks als auch Python-Dateien verarbeiten kann.

Um nur den Python-Code aus Jupyter-Notebook-Dateien zu extrahieren, können Sie das nbconvert–Dienstprogramm verwenden. Das geht so:

  1. Installieren Sie das Paket nbconvert mit einem der folgenden Befehle:

    • Für Windows/Linux: pip install nbconvert

    • Für MacOS: pip3 install nbconvert oder python3 -m pip install nbconvert

  2. Erstellen Sie eine Sicherungskopie des Verzeichnisses Ihres Jupyter-Notebooks

  3. Konvertieren Sie alle Jupyter-Notebooks über die Kommandozeile in Python-Skripte:

    • Für Windows/Linux: find /path/to/folder/with/notebooks -name '*. ipynb' | xargs python -m nbconvert --to script

    • Für MacOS: find /path/to/folder/with/notebooks -name '*. ipynb' | xargs python3 -m nbconvert --to script

    Dadurch werden Python-Skriptdateien in demselben Verzeichnis wie Ihre Notebooks erstellt.

  4. Verarbeiten Sie die konvertierten Python-Dateien, indem Sie SMA für Python im Ausgabeverzeichnis ausführen.