Snowpark ML Modeling: ML モデル開発¶

Snowpark ML Modelingクラス¶

すべてのSnowpark ML のモデリングクラスと前処理クラスは、 snowflake.ml.modeling 名前空間にあります。Snowpark MLのモジュールは、 sklearn 名前空間の対応するモジュールと同じ名前です。たとえば、 sklearn.calibration に対応するSnowpark ML モジュールは、 snowflake.ml.modeling.calibration です。

xgboost と lightgbm モジュールは、それぞれ snowflake.ml.modeling.xgboost と snowflake.ml.modeling.lightgbm に対応しています。

scikit-learnのすべてのクラスがSnowpark ML でサポートされているわけではありません。以下のテーブルは、どのクラスがサポートされているかを示しています。アスタリスク（^*）の付いたクラスは分散実行をサポートします。

一般的な API の違い¶

Snowpark ML Modelingには、scikit-learn、xgboost、lightgbmに基づくデータ前処理、変換、予測アルゴリズムが含まれています。Snowpark Pythonクラスは、オリジナルパッケージからの対応するクラスを置き換えたもので、署名も類似しています。ただし、これらの APIs は、 NumPy 配列の代わりに、Snowpark DataFrames で動作するように設計されています。

Snowpark ML Modeling API はscikit-learnに似ていますが、いくつかの重要な違いがあります。このセクションでは、Snowpark ML で提供される推定器クラスと変換器クラスの __init__ （コンストラクター）、 fit、および predict メソッドを呼び出す方法について説明します。

• すべてのSnowpark ML Pythonクラスの コンストラクター は、scikit-learn、xgboost、lightgbmの同等クラスが受け入れるパラメーターに加えて、 input_cols、 output_cols、 sample_weight_col、 label_cols、および drop_input_cols の5つの追加パラメーターを受け入れます。これらは文字列または文字列のシーケンスで、SnowparkまたはPandas DataFrameの入力列、出力列、サンプル重み列、ラベル列の名前を指定します。

• Snowpark ML の fit と predict メソッドは、入力データ、ラベル、重みを表す個別の配列の代わり、単一の DataFrame を受け入れます。Snowpark ML では、クラスをインスタンス化するときに、これらの目的で使用する列の名前を指定します。これらの名前は、 fit または predict に渡す DataFrame で必要な列を見つけるために使用されます。 fit、および predict をご参照ください。

• Snowpark ML の transform と predict メソッドは、メソッドに渡された DataFrame のすべての列を含む DataFrame を返し、予測からの出力は追加の列に格納されます。（同じ入力列名と出力列名を指定して、インプレースで変換することも、 drop_input_cols = True を渡して、入力列をドロップすることもできます。）scikit-learn、xgboost、lightgbmと同等のものは、結果のみを含む配列を返します。

• Snowpark Pythonの変換器には fit_transform メソッドがありません。しかし、scikit-learnと同様に、パラメーターの検証は fit メソッドでのみ実行されます。したがって、変換器がフィッティングを実行しない場合でも、 transform の前のある時点で fit を呼び出す必要があります。 fit は変換器を返すため、メソッド呼び出しは、たとえば Binarizer(threshold=0.5).fit(df).transform(df) のように連鎖させることができます。

• Snowpark ML 変換器には inverse_transform メソッドがありません。このメソッドは、Snowpark ML には不要です。これは、入力列と出力列の両方に同じ名前を指定してインプレース変換を明示的に実行する場合を除き、入力 DataFrame の入力列には元の表現が保持されるためです。

from sklearn.tree import DecisionTreeClassifier

model = DecisionTreeClassifier()

model.fit(
    X=df[feature_column_names], y=df[label_column_names], sample_weight=df[weight_column_name]
)

model.fit(df)

prediction_results = model.predict(X=df[feature_column_names])

prediction_results = model.predict(df)[output_column_names]

モデルの展開と実行¶

モデルをトレーニングした結果は、Python Snowpark ML モデルオブジェクトになります。モデルの predict メソッドを呼び出すと、トレーニング済みモデルを使用して予測できます。これにより、Snowflake仮想ウェアハウスでモデルを実行するための仮のユーザー定義関数が作成されます。この関数は、Snowpark ML セッションの終了時（例: スクリプトの終了時やJupyterノートブックを閉じるとき）に自動的に削除されます。

セッション終了後もユーザー定義関数を保持するには、手動で作成します。詳細については、このトピックの クイックスタート をご参照ください。

Snowpark ML モデルレジストリは、今後リリースされる機能で、永続的なモデルもサポートし、モデルの検索と展開を容易にします。この機能に関するドキュメントをいち早く入手するには、Snowflakeの担当者にお問い合わせください。

複数変換のためのパイプライン¶

scikit-learnでは、パイプラインを使用して一連の変換を実行するのが一般的です。scikit-learnパイプラインはSnowpark ML クラスでは動作しないため、Snowpark ML は、一連の変換を実行するために sklearn.pipeline.Pipeline のSnowpark Pythonバージョンを提供しています。このクラスは snowflake.ml.modeling.pipeline パッケージにあり、scikit-learnバージョンと同じように動作します。

既知の制限¶

• Snowpark ML 推定器および変換器は現在、スパース入力およびスパース応答をサポートしていません。スパースデータがある場合は、Snowpark ML の推定器や変換器に渡す前に密な形式に変換します。

• Snowpark ML パッケージは現在、マトリックスデータ型をサポートしていません。結果としてマトリックスを生成するような推定器や変換器に対する操作はすべて失敗します。

• 結果データの行の順番が入力データの行の順番と一致することは保証されません。

トラブルシューティング¶

import logging, sys

logging.basicConfig(stream=sys.stdout, level=logging.DEBUG)

参考文献¶

各ライブラリの機能に関する包括的な情報については、元のライブラリのドキュメントをご参照ください。

• Scikit-Learn

• XGBoost

• LightGBM

謝辞¶

このドキュメントの一部は、 BSD-3 「新規」または「改訂」ライセンスおよびCopyright © 2007-2023 The scikit-learn developersの下でライセンスされているScikit-learnのドキュメントに由来しています。All Rights Reserved.

このドキュメントの一部は、Apache License 2.0, January 2004およびCopyright © 2019で網羅されている XGboost に由来します。All Rights Reserved.

このドキュメントの一部は、 MIT によるライセンスおよびCopyright © Microsoft Corp.の LightGBM ドキュメントに由来します。All Rights Reserved.