Snowpark Migration Accelerator: Jupyter Notebooksでの SMA の使用

ツールでPythonノートブック(.ipynbファイル)を使用できますか。

はい !ノートブックファイル(.ipynb)をツールの入力として選択したソースディレクトリに置きます。ノートブックはそのディレクトリ内のどのサブフォルダーにも置くことができます。Pythonファイル(.py)とノートブックファイル(.ipynb)の両方をソースディレクトリやそのサブフォルダーに含めることができます。ツールは、ディレクトリ構造内の場所に関係なく、すべての互換性のあるファイルを処理します。

ノートブックファイル(.ipynb)をPythonファイル(.py)に変換すると、いくつかの利点があります。

  1. バージョン管理の向上: Pythonファイルは、Gitのようなバージョン管理システムで変更を追跡管理しやすくなります

  2. コラボレーションの向上: チームメンバーは、標準のPythonファイルでより効率的にコードを確認および編集できます

  3. 自動化がより簡単に: 自動化されたパイプラインやスケジュールされたジョブでPythonファイルを直接実行できます

  4. よりクリーンなコード構成: Pythonファイルは、より優れたコード構造とモジュール性を促進します。

  5. ファイルサイズの削減: Pythonファイルは通常、追加のメタデータを含むノートブックファイルよりも小さくなります。

選択肢は2つあります。

  1. ノートブック形式を継続して使用する予定の場合は、ノートブックはそのままにしておきます。SMA はノートブックを直接分析し、変換することができます。

  2. ノートブックの使用をやめる場合は、Pythonコードを.pyファイルに展開します。これは回避策で可能ですが、 SMA はノートブックとPythonファイルの両方を処理できるため、その必要はありません。

JupyterノートブックファイルからPythonコードだけを取り出すには、nbconvertユーティリティを使用します。以下がその方法です。

  1. 以下のコマンドのいずれかを使用して nbconvert パッケージをインストールします。

    • Windows/Linuxの場合: pip install nbconvert

    • MacOS の場合: pip3 install nbconvert または python3 -m pip install nbconvert

  2. Jupyterノートブックディレクトリのバックアップコピーを作成します。

  3. コマンドラインを使用して、すべてのJupyterノートブックをPythonスクリプトに変換します。

    • Windows/Linuxの場合: find /path/to/folder/with/notebooks -name '*.ipynb' | xargs python -m nbconvert --to script

    • MacOS の場合: find /path/to/folder/with/notebooks -name '*.ipynb' | xargs python3 -m nbconvert --to script

    これにより、ノートブックと同じディレクトリにPythonスクリプトファイルが作成されます。

  4. 出力ディレクトリで SMA for Pythonを実行して、変換されたPythonファイルを処理します。