Notebooks on Container Runtime for ML¶

概要¶

Snowflake Notebooksは、Container Runtime for ML で実行できます。 Snowpark Container Services 搭載のContainer Runtime for ML は、柔軟なコンテナインフラストラクチャを提供し、さまざまなワークフローの構築と運用を完全にSnowflake内でサポートします。Container Runtime for ML は、高度なデータサイエンスと機械学習のワークロードをサポートするソフトウェアとハードウェアのオプションを提供します。 仮想ウェアハウス と比較して、Container Runtime for ML は、より柔軟な計算環境を提供します。この環境では、複数のソースからパッケージをインストールし、 GPU マシンタイプを含むコンピューティングリソースを選択することができる一方で、引き続き SQL クエリを実行しながら、パフォーマンスを最適化できます。

このドキュメントでは、 Container Runtime for ML 上でノートブックを使用する際の考慮事項について説明します。また、 Getting Started with Snowflake Notebook Container Runtime クイックスタートで、開発におけるContainer Runtime for ML の使用について詳しく学ぶことができます。

前提条件¶

Container Runtime for ML 上でのSnowflake Notebooksの使用に先立ち、 ACCOUNTADMIN ロールは、必要なリソースを作成し、それらのリソースに権限を付与するためのノートブックのセットアップ手順を完了する必要があります。詳細な手順については、 管理者の設定 をご参照ください。

Container Runtime for ML 上でのノートブックの作成¶

Container Runtime for ML 上でノートブックを作成する際は、ノートブックを実行するためのリソースを提供するウェアハウス、ランタイム、コンピューティングプールを選択します。選択したランタイムによって、ユースケースに応じて異なるPythonパッケージにアクセスできます。ウェアハウスのサイズやコンピューティングプールが異なれば、コストやパフォーマンスへの影響も異なります。これらの設定はすべて、必要に応じて後で変更することができます。

Container Runtime上で実行するSnowflake Notebookを作成するには、以下の手順に従います。

1. Snowsight にサインインします。

2. Notebooks を選択します。

3. + Notebook を選択します。

4. ノートブックの名前を入力します。

5. ノートブックを格納するデータベースとスキーマを選択します。これらはノートブック作成後に変更することはできません。

   注釈

   データベースとスキーマは、ノートブックを格納するためだけに必要です。ノートブック内で、自分のロールがアクセスできるデータベースやスキーマをクエリすることができます。

6. Python環境として Run on container を選択します。

7. Runtime のタイプを選択します。 CPU または GPU のいずれかです。

8. Compute pool を選択します。

   Snowflakeは、各アカウントでノートブック（SYSTEM_COMPUTE_POOL_CPU、 SYSTEM_COMPUTE_POOL_GPU）を実行するための2つの コンピューティングプール を自動的にプロビジョニングします。

9. SQL クエリとSnowparkクエリを実行するために使用する選択済みのウェアハウスを変更します。

10. ノートブックを作成して開くには、 Create を選択します。

Runtime:

ランタイムは CPU と GPU の2タイプが利用可能です。それぞれのランタイムの画像には、Snowflakeによって検証・統合されたPythonパッケージとバージョンの基本セットが含まれています。すべてのランタイムの画像は、Snowpark Python、Snowflake ML、およびStreamlitによるデータ解析、モデリング、およびトレーニングをサポートします。

パブリックリポジトリから追加パッケージをインストールするには、pipを使用することができます。Snowflake Notebooksが外部エンドポイントからパッケージをインストールするには、外部アクセス統合（EAI）が必要です。EAIs を構成するには、 Snowflake Notebooks の外部アクセスの設定 をご参照ください。ただし、パッケージがすでにベース画像の一部になっている場合、pipインストールで異なるバージョンをインストールしても、パッケージのバージョンを変更することはできません。プリインストールパッケージのリストについては、 ML のContainer Runtime をご参照ください。

Compute pool:

コンピューティングプールは、ノートブックカーネルとPythonコードにコンピューティングリソースを提供します。より小さな CPU ベースのコンピューティングプールの使用からスタートし、コンピュータービジョンや LLMs/VLMs などの負荷の高い GPU 使用シナリオに最適化するために、より高メモリの GPU ベースのコンピューティングプールを選択するようにします。

各コンピュートノードが一度に実行できるノートブックは、ユーザー当たり1つに制限されています。ノートブックのコンピューティングプールを作成する際には、 MAX_NODES パラメーターを1より大きい値に設定する必要があります。例については、 コンピューティングリソース をご参照ください。 Snowpark Container Services コンピューティングプールの詳細については、 Snowpark Container Services: コンピューティングプールの操作 をご参照ください。

ノートブックが使用されていないときは、ノードのリソースを解放するためにシャットダウンすることを検討してください。接続ドロップダウンから End session を選択すると、ノートブックをシャットダウンできます。

Container Runtime上でノートブックが実行される場合、ロールは、ノートブックウェアハウス上ではなく、コンピューティングプール上で USAGE 権限を必要とします。コンピューティングプールは、Snowflakeによって管理される CPU ベースまたは GPU ベースの仮想マシンです。コンピューティングプールを作成する際には、 MAX_NODES パラメーターを1より大きくセットしてください。 なぜなら、各ノートブックは、実行するために1つのフルノードを必要とするからです。詳細については、 Snowpark Container Services: コンピューティングプールの操作 をご参照ください。

リソースの利用状況を表示できます。詳細については、 Snowflake Notebooksについて をご参照ください。

Container Runtimeでノートブックを実行する¶

ノートブックを作成したら、セルを追加して実行することで、すぐにコードを実行し始めることができます。セルの追加については、 Snowflake Notebooks でコードを開発し、実行します。 をご参照ください。

!pip install transformers scipy ftfy accelerate

ML ワークロードの実行¶

Container Runtime上のNotebooksは、モデルトレーニングやパラメーターチューニングなどの ML ワークロードの実行に適しています。ランタイムは一般的な ML パッケージにプリインストールされています。外部統合アクセスをセットアップすれば、 !pip install を使って必要なパッケージをインストールすることができます。

最適なエクスペリエンスを得るには、 OSS ライブラリを使用してモデルを開発するか、 OSS コンポーネントを使用するノートブックをインポートしてください。Container Runtimeには、以下のような最適化された APIs があります。

• より高速なデータ取り込みのための DataConnector

• スケーラブルなモデルフィッティングのための分散トレーニング APIs

• 利用可能なすべてのリソースを効率的に活用するための分散ハイパーパラメーターチューニング APIs。

詳細については、 ML のContainer Runtime をご参照ください。

from snowflake.snowpark.context import get_active_session
import pandas as pd
import xgboost as xgb
from sklearn.model_selection import train_test_split

session = get_active_session()
df = session.table("my_dataset")
# Pull data into local memory
df_pd = df.to_pandas()
X = df_pd[['feature1', 'feature2']]
y = df_pd['label']
# Split data into test and train in memory
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.15, random_state=34)
# Train in memory
model = xgb.XGBClassifier()
model.fit(X_train, y_train)
# Predict
y_pred = model.predict(X_test)

コスト/請求の考慮事項¶

Container Runtime上でノートブックを実行する場合、 ウェアハウス計算 と SPCS コンピューティングコスト の両方が発生する可能性があります。ウェアハウスは、クエリを実行するためにも、 Snowflake Notebooks の特定のフロントエンド機能をサポートするためにも必要です。例えば、Pythonの実行にコンピューティングプールを使用する場合、出力のレンダリングやインタラクティブなコンポーネントの処理にウェアハウスが必要になることがあります。

Snowflake Notebooksは、パフォーマンスを最適化するために、 SQL クエリとSnowparkクエリを実行する仮想ウェアハウスを必要とします。このため、 SQL セルで SQL を使用し、PythonセルでSnowparkのプッシュダウンクエリを実行した場合、仮想ウェアハウスのコンピューティングコストも発生する可能性があります。以下の図は、各セルのタイプについて、どこで計算が発生するかを示しています。

たとえば、以下のPythonの例では、 xgboost ライブラリを使用しています。データはコンテナに取り込まれ、 Snowpark Container Services で計算が発生します。

from snowflake.snowpark.context import get_active_session
import pandas as pd
import xgboost as xgb
from sklearn.model_selection import train_test_split

session = get_active_session()
df = session.table("my_dataset")
# Pull data into local memory
df_pd = df.to_pandas()
X = df_pd[['feature1', 'feature2']]
y = df_pd['label']
# Split data into test and train in memory
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.15, random_state=34)

ウェアハウスのコストについては、 ウェアハウスの概要 をご覧ください。