Snowpark Migration Accelerator: ウォークスルーのセットアップ¶

SMA アプリケーション¶

Snowpark Migration Accelerator（SMA）は、開発者が PySpark やSpark ScalaアプリケーションをSnowflake上で実行できるように変換することを支援します。PythonやScalaコード内のSpark API 呼び出しを自動的に検出し、同等のSnowpark API 呼び出しに変換します。このガイドでは、Sparkのサンプルコードを分析して、 SMA の基本的な関数を示し、移行プロジェクトをどのように支援するかを紹介します。

最初の評価フェーズでは、Snowpark Migration Accelerator（SMA）がソースコードを調査し、コード内のすべての関数をキャプチャする詳細なモデルを構築します。この分析に基づいて、 SMA は、このウォークスルーで確認する詳細な評価レポートを含む、いくつかのレポートを作成します。これらのレポートにより、Snowparkへの移行に必要なコードの準備状況を把握し、移行に必要な労力を見積もることができます。このラボを続ける中で、これらの発見をさらに詳しく見ていくことにしましょう。

サンプルコードベース¶

このガイドでは、Pythonのコード例を使用して移行プロセスを示します。サードパーティのGitリポジトリから2つのサンプルコードベースを選びました。これらのコードベースには、以下からアクセスできます。

• PySpark Data Engineering Examples: https://github.com/spark-examples/pyspark-examples

• Apache Spark Machine Learning Examples: https://github.com/apache/spark/tree/master/examples/src/main/python

Snowpark Migration Accelerator（SMA）を使用してコードベースを分析するには、以下のステップに従います。

1. Download the codebases as zip files from GitHub. You can find instructions on how to do this in the GitHub documentation.

2. コンピューターに、別々のフォルダーをコードベースごとに作成します。

3. 以下の画像のように、各zipファイルを指定のフォルダーに解凍します。

These sample codebases demonstrate how SMA evaluates Spark API references to calculate the Spark API Readiness Score. Let's look at two scenarios:

1. Snowparkとの互換性が高く、移行準備が整っていることを示す高スコアを獲得したコードベース。

2. 低スコアを受けたコードベースは、移行前に追加レビューと潜在的な修正が必要であることを示します。

レディネススコアは貴重な洞察を提供しますが、移行を計画する際に考慮する必要のある唯一の要因として扱うべきではありません。移行を成功させるためには、高スコア評価でも低スコア評価でも、あらゆる側面の包括的な評価が必要です。

After unzipping the directories, SMA will analyze only files that use supported code formats and notebook formats. These files are checked for references to Spark API and other Third Party APIs. To see which file types are supported, please check the list here.

このウォークスルーの残りの部分を通して、これら2つのコードベースがどのように実行されるかを分析します。