Snowpark ML: Snowflakeにおけるエンドツーエンドの機械学習¶

Snowpark ML モデリング¶

Snowpark ML Modeling は、scikit-learn、xgboost、lightgbmなどの一般的な機械学習フレームワークを使用して、データの前処理、特徴量エンジニアリング、Snowflakeでのモデル学習をサポートします。この API には、Snowparkに最適化されたウェアハウスが提供するコンピューティングリソースを使用して、スケーラブルなデータ変換を提供できる前処理モジュールも含まれています。

Snowpark ML Operations¶

Snowpark ML Operations（MLOps）は、 Snowpark ML モデルレジストリ を採用しており、Snowpark ML 開発 API を補完します。モデルレジストリは、Snowflakeにおけるモデルのセキュアな展開と管理を可能にし、Snowflakeの内部と外部の両方でトレーニングされたモデルをサポートします。

Snowpark ML Data Access¶

Snowpark ML Data Accessは、機械学習モデルにデータをフィードするためのシンプルで高性能な方法を提供します。

• FileSet API は、クエリやSnowpark DataFrame からSnowflake内部ステージにデータを具体化するための、 Python fsspec 準拠の API を提供します。また、データを処理したり、 PyTorch や TensorFlow にフィード したりするための便利なメソッドも提供します。

• フレームワークコネクタ のセットは、ネイティブデータローダー形式で、PytorchとTensorflowフレームワーク用に最適化された安全で高パフォーマンスのデータプロビジョニングを提供します。

Snowflake condaチャネルからのSnowpark ML のインストール¶

1. Snowpark MLをインストールするconda環境を作成します。既存の環境を使用する場合は、このステップをスキップします。

   conda create --name snowpark-ml
   

   Copy

2. Conda環境をアクティブにします。

   conda activate snowpark-ml
   

   Copy

3. Snowflake condaチャネルからSnowpark MLをインストールします。

   conda install --override-channels --channel https://repo.anaconda.com/pkgs/snowflake/ snowflake-ml-python
   

   Copy

PyPI からのSnowpark ML のインストール¶

標準のPythonパッケージマネージャー、 pip を使用して、Pythonパッケージインデックス（PyPI）からSnowpark ML パッケージをインストールできます。

1. プロジェクトディレクトリに移動し、Python仮想環境を有効にします。

   cd ~/projects/ml
   source .venv/bin/activate
   

   Copy

2. Snowpark ML パッケージをインストールします。

   python -m pip install snowflake-ml-python
   

   Copy

オプションのモデリング依存関係のインストール¶

Snowpark ML Modeling APIs には、Snowpark ML の依存関係としてインストールされていない依存関係を必要とするものがあります。scikit-learnとxgboostパッケージは、Snowpark ML Modelingをインストールするとデフォルトでインストールされますが、lightgbmはオプションの依存関係です。 snowflake.ml.modeling.lightgbm 名前空間のクラスを使う予定の場合は、ご自身でlightgbmをインストールしてください。

以下のコマンドを使用してconda環境をアクティブ化し、Snowflake condaチャンネルからlightgbmをインストールします。

conda activate snowpark-ml
conda install --override-channels --channel https://repo.anaconda.com/pkgs/snowflake/ lightgbm

以下のコマンドを使用して仮想環境をアクティブ化し、pipを使用してlightgbmをインストールします。

.venv/bin/activate
python -m pip install 'snowflake-ml-python[lightgbm]'

SnowflakeはSnowpark ML にオプションの依存関係を追加することがあります。pipを使ってオプションの依存関係をすべてインストールするには

.venv/bin/activate
python -m pip install 'snowflake-ml-python[all]'

Snowpark Pythonの設定¶

Snowpark PythonはSnowpark ML の依存関係であり、Snowpark ML をインストールすると自動的にインストールされます。ご使用のシステムにSnowpark Pythonが設定されていない場合は、追加の構成ステップが必要になることがあります。Snowpark Pythonの設定手順については、 Snowpark Pythonの開発環境の設定 をご参照ください。

ウェアハウスサイズの指定¶

モデルのトレーニングや推論の実行など、Snowpark ML の多くの部分はSnowflakeウェアハウスでコードを実行します。これらの操作は、接続に使用したセッションにより指定されたウェアハウスで実行されます。たとえば、 SnowSQL 構成ファイル の名前付き接続からセッションを作成する場合は、名前付き構成の warehousename パラメーターを使用してウェアハウスを指定することができます。

ウェアハウスの設定が構成内に存在しない場合は、ここに示すように、 Session オブジェクトを作成する際にその設定を追加することができます。

from snowflake.snowpark import Session
from snowflake.ml.utils import connection_params
# Get named connection from SnowQSL configuration file
params = connection_params.SnowflakeLoginOptions("myaccount")
# Add warehouse name for model method calls if it's not already present
if "warehouse" not in params:
    params["warehouse"] = "mlwarehouse"
sp_session = Session.builder.configs(params).create()

セッションでウェアハウスが指定されていない場合や別のウェアハウスを使用する場合は、セッションの use_warehouse メソッドを呼び出します。

sp_session.use_warehouse("mlwarehouse")