Snowflakeモデルレジストリ¶

必要な権限¶

モデルを作成するには、モデルを作成するスキーマを所有するか、そのスキーマに対する CREATE MODEL 権限を持っている必要があります。モデルを使用するには、そのモデルを所有しているか、そのモデルに対する USAGE または READ 権限を持っている必要があります。

1. USAGE 権限により、付与対象者はモデルの内部を一切見ることなく、ウェアハウス推論にモデルを使用することができるようになります。

2. READ 権限により、付与対象者は SPCS 推論のモデルを使用でき、コメント、タグ、メトリックなどのメタデータも表示されます。

スキーマに存在するすべてのモデルへの USAGE アクセスをユーザーに与えるには、GRANT USAGE ON ALL MODELS IN SCHEMA <schema> TO ROLE <role> を使用します。 また、 GRANT USAGE ON FUTURE MODELS IN SCHEMA <schema> TO ROLE <role> を介して、スキーマに将来作成されるモデルへのアクセスをユーザーに自動的に与えることもできます。

同様に、同じ構文を使用して、 USAGE を READ に置き換えることで、スキーマ内のすべての既存または将来のモデルに対する READ アクセス権をユーザーに付与できます。

ユーザーのロールがモデルに対して OWNER、 USAGE または READ権限がある場合、その権限は Snowsightモデルレジストリページ に表示されます。Snowflake での権限の仕組みの詳細については、 アクセス制御権限 を参照してください。

現在の制限¶

以下の制限は、モデルおよびモデルのバージョンに適用されます。

Snowflakeモデルレジストリを開く¶

モデルはファーストクラスのSnowflakeオブジェクトであり、他のSnowflakeオブジェクトと一緒にデータベースやスキーマ内に編成することができます。Snowflakeモデルレジストリは、スキーマ内のモデルを管理するためのPythonクラスを提供します。したがって、どのSnowflakeスキーマもレジストリとして使用できます。この目的のために、スキーマを初期化したり準備したりする必要はありません。Snowflakeは、 ML.REGISTRY のように、この目的のために1つ以上の専用スキーマを作成することを推奨しています。スキーマは、 CREATE SCHEMA を使用して作成できます。

レジストリのモデルを作成または変更する前に、レジストリを開く必要があります。レジストリを開くと、そのレジストリへの参照が返され、それを使用して新しいモデルを追加したり、既存のモデルへの参照を取得したりすることができます。

from snowflake.ml.registry import Registry

reg = Registry(session=sp_session, database_name="ML", schema_name="REGISTRY")

モデルおよびバージョンの登録¶

レジストリへのモデルの追加は、モデルの ログ と呼ばれます。レジストリの log_model メソッドを呼び出してモデルをログします。Pythonオブジェクトであるモデルをシリアル化し、そこからSnowflakeモデルオブジェクトを作成します。説明などのメタデータを log_model 呼び出しで指定されたモデルに追加します。

各モデルは無制限にバージョンを持つことができます。モデルの追加バージョンをログするには、同じ model_name で異なる version_name を指定して log_model を再度呼び出します。

タグがレジストリに追加されている場合は、モデルにタグを追加することはできません。タグはモデルの属性であり、 log_model は特定のモデルのバージョンを追加し、最初のバージョン追加時にのみモデルを作成するからです。モデルの最初のバージョンをログした後に、 モデルのタグを更新する ことができます。

次の例では、 clf は、「classifier,」の略で、コード内で既に作成されたPythonのモデルオブジェクトです。ここに示すように、登録時にコメントを追加することができます。名前とバージョンの組み合わせは、スキーマ内で一意にする必要があります。conda_dependencies リストを指定します。指定したパッケージはモデルと合わせて展開されます。

from snowflake.ml.model import task, type_hints
mv = reg.log_model(clf,
                   model_name="my_model",
                   version_name="v1",
                   conda_dependencies=["scikit-learn"],
                   comment="My awesome ML model",
                   metrics={"score": 96},
                   sample_input_data=train_features,
                   task=task.Task.TABULAR_BINARY_CLASSIFICATION)

ここで log_model の引数を説明します。

必要な引数

オプションの引数

from snowflake.ml.model.volatility import Volatility

options = {
  "embed_local_ml_library": True,
  "relax_version": True,
  "save_location": "/path/to/my/directory",
  "function_type": "TABLE_FUNCTION",
  "volatility": Volatility.IMMUTABLE,
  "method_options": {
    "predict": {
      "case_sensitive": False,
      "max_batch_size": 100,
      "function_type": "TABLE_FUNCTION",
      "volatility": Volatility.VOLATILE,
    },
  }

mv = reg.log_model(
    clf,
    model_name="my_model",
    artifact_repository_map={
        "pip": "snowflake.snowpark.pypi_shared_repository"
    },
    pip_requirements=['scikit-learn'],
    sample_input_data=train_features,
)

from snowflake.ml.model._model_composer.model_manifest import (
    model_manifest
)
model_manifest.ModelManifest._ENABLE_USER_FILES = True

log_model は、レジストリに追加されたモデルのバージョンを表す snowflake.ml.model.ModelVersion オブジェクトを返します。

一度登録されると、モデル自体を変更することはできません（メタデータを変更することはできます）。モデルとそのすべてのバージョンを削除するには、レジストリの delete_model メソッドを使用します。

依存関係やターゲットプラットフォームとの連携¶

モデルアーティファクトの操作¶

モデルがログに記録された後、その成果物（シリアライズされたPythonオブジェクトや、マニフェストなどの様々なメタデータファイルを含む、モデルをバックアップするファイル）は内部ステージで利用可能になります。アーティファクトを変更することはできませんが、所有するモデルのアーティファクトを表示またはダウンロードすることはできます。

ステージからモデルアーティファクトにアクセスするには、例えば GET コマンド や、Snowpark Pythonの同等のコマンド FileOperation.get を使用します。

しかし、通常のステージパス構文を使ってモデルのアーティファクトを扱うことはできません。代わりに、 snow:// URL、Snowflakeのオブジェクトの位置を指定する、より一般的な方法を使用します。例えば、モデル内のバージョンは、 snow://model/<model_name>/versions/<version_name>/ という形式の URL で指定することができます。

モデルの名前と必要なバージョンを知っていれば、 LIST コマンド を使って、次のようにモデルのアーティファクトを表示することができます。

LIST 'snow://model/my_model/versions/V3/';

出力は似ています。

name                                      size                  md5                      last_modified
versions/V3/MANIFEST.yml           30639    2f6186fb8f7d06e737a4dfcdab8b1350        Thu, 18 Jan 2024 09:24:37 GMT
versions/V3/functions/apply.py      2249    e9df6db11894026ee137589a9b92c95d        Thu, 18 Jan 2024 09:24:37 GMT
versions/V3/functions/predict.py    2251    132699b4be39cc0863c6575b18127f26        Thu, 18 Jan 2024 09:24:37 GMT
versions/V3/model.zip             721663    e92814d653cecf576f97befd6836a3c6        Thu, 18 Jan 2024 09:24:37 GMT
versions/V3/model/env/conda.yml          332        1574be90b7673a8439711471d58ec746        Thu, 18 Jan 2024 09:24:37 GMT
versions/V3/model/model.yaml       25718    33e3d9007f749bb2e98f19af2a57a80b        Thu, 18 Jan 2024 09:24:37 GMT

これらのアーティファクトを取得するには、 SQL GET コマンドを使用します。

GET 'snow://model/model_my_model/versions/V3/MANIFEST.yml' file::///tmp/my_model/

あるいはSnowpark Pythonと同等です。

session.file.get('snow://model/my_model/versions/V3/MANIFEST.yml', 'model_artifacts')

モデルの削除¶

レジストリの delete_model メソッドを使用して、モデルとそのすべてのバージョンを削除します。

reg.delete_model("mymodel")

レジストリからのモデルの取得¶

各モデルの情報を得るには、 show_models メソッドを使用します。

model_df = reg.show_models()

show_models の結果は、pandas DataFrame です。利用可能なカラムはこちらです。

代わりにレジストリにあるモデルのリストを、それぞれ Model インスタンスとして取得するには models メソッドを使用します。

model_list = reg.models()

レジストリから特定のモデルへの参照を名前で取得するには、レジストリの get_model メソッドを使用します。

m = reg.get_model("MyModel")

models メソッドで返されたリストのモデル、または get_model を使用して取得したモデルへの参照があると、 そのメタデータ と そのバージョン を操作することができます。

モデルのメタデータの表示および更新¶

レジストリ内のモデルのメタデータ属性（名前、コメント、タグ、メトリックなど）を表示したり、更新したりすることができます。

print(m.comment)
m.comment = "A better description than the one I provided originally"

print(m.description)
m.description = "A better description than the one I provided originally"

print(m.show_tags())

m.set_tag("live_version", "v1")

m.get_tag("live_version")

m.unset_tag("live_version")

m.rename("MY_MODEL_TOO")

モデルバージョンの操作¶

モデルは無制限にバージョンを持つことができ、それぞれが文字列で識別されます。希望するバージョンの命名規則を使用することができます。モデルをログすることは、実際にはモデルの 特定のバージョン をログすることです。モデルの追加バージョンをログするには、同じ model_name で異なる version_name を指定して log_model を再度呼び出します。

モデルのバージョンは、 snowflake.ml.model.ModelVersion クラスのインスタンスで表されます。

モデルの全バージョンのリストを取得するには、モデルオブジェクトの versions メソッドを呼び出します。結果は ModelVersion インスタンスのリストです。

version_list = m.versions()

代わりに DataFrame として各モデルの情報を取得するには、モデルの show_versions メソッドを呼び出します。

version_df = m.show_versions()

できあがった DataFrame には以下の列が含まれます。

m.delete_version("rc1")

default_version = m.default
m.default = "v2"

m = reg.get_model("MyModel")

mv = m.version("v1")
mv = m.default

print(mv.comment)
print(mv.description)

mv.comment = "A model version comment"
mv.description = "Same as setting the comment"

from sklearn import metrics

test_accuracy = metrics.accuracy_score(test_labels, prediction)

test_confusion_matrix = metrics.confusion_matrix(test_labels, prediction)

# scalar metric
mv.set_metric("test_accuracy", test_accuracy)

# hierarchical (dictionary) metric
mv.set_metric("evaluation_info", {"dataset_used": "my_dataset", "accuracy": test_accuracy, "f1_score": f1_score})

# multivalent (matrix) metric
mv.set_metric("confusion_matrix", test_confusion_matrix)

metrics = mv.show_metrics()

mv.delete_metric("test_accuracy")

mv.export("~/mymodel/")

mv.export("~/mymodel/", export_mode=ExportMode.FULL)

clf = mv.load()

conda_env = session.file.get("snow://model/<modelName>/versions/<versionName>/runtimes/python_runtime/env/conda.yml", ".")
open("~/conda.yml", "w").write(conda_env)

conda env create --name newenv --file=~/conda.yml
conda activate newenv

clf = mv.load(options={"use_gpu": True})

モデルメソッドの呼び出し¶

モデルのバージョンは、推論や他のモデル操作を実行するための付属関数である メソッド を持つことができます。モデルのバージョンは異なるメソッドを持つことができ、これらのメソッドの署名も異なる場合があります。

モデルのバージョンのメソッドを呼び出すには、 mv.run を使います。mv は ModelVersion オブジェクトです。呼び出される関数の名前を指定し、推論データを含む Snowpark または pandas DataFrame と必要なパラメーターを渡します。このメソッドは、Snowflakeウェアハウスで実行されます。

メソッドの戻り値は、渡された DataFrame のタイプにマッチする Snowpark または pandas DataFrame です。Snowpark DataFrames は遅延評価されるため、DataFrame の collect、 show、 to_pandas メソッドが呼び出されたときのみメソッドが実行されます。

次の例は、モデルの predict メソッドの実行を示しています。このモデルの predict メソッドは、推論データ（ここでは test_features）以外にパラメーターを必要としません。必要な場合は、推論データの後に追加の引数として渡されることになります。

remote_prediction = mv.run(test_features, function_name="predict")
remote_prediction.show()   # assuming test_features is Snowpark DataFrame

指定されたモデルでどのメソッドが呼び出せるかを確認するには、 mv.show_functions を呼び出します。このメソッドの返り値は、 ModelFunctionInfo オブジェクトのリストです。これらの各オブジェクトには以下の属性が含まれます。

• name:Pythonまたは SQL から呼び出せる関数名。

• target_method：元のログモデルのPythonメソッド名。

モデルの共有¶

モデルは共有と複製の両方を行うことができます。共有モデルに以下の権限を付与できます。

• USAGE: 付与対象者はモデルの内部を一切見ることなく、ウェアハウス推論にモデルを使用することができるようになります。

• READ: 付与対象者は SPCS 推論のモデルを使用し、そのメタデータを表示できるようになります。メタデータには、コメント、タグ、メトリックが含まれますが、これらに限定されません。

コストの考慮事項¶

Snowflake モデルレジストリを使用すると、標準的なSnowflake消費ベースのコストが発生します。これらには次が含まれます。

• モデルのアーティファクト、メタデータ、および関数を格納するためのコスト。ストレージコストに関する一般情報については、 ストレージコストの調査 をご参照ください。

• ステージ間のファイルをSnowflakeにコピーするコスト。COPY FILES をご参照ください。

• モデルやモデルのバージョンの表示、モデルのコメント、タグ、メトリクスの変更など、 Snowsight UI や SQL 、Pythonインターフェイスを介したサーバーレスモデルオブジェクト操作のコスト。

• ウェアハウスコンピューティングコスト。コストは、モデルの型や学習予測に使用するデータ量によって異なります。Snowflakeのコンピューティングコストに関する一般的な情報については、 コンピューティングコストについて をご参照ください。ウェアハウスのコンピューティングコストは、次のような場合に発生します。

  • モデルおよびバージョンの作成操作。

  • モデルのメソッドの呼び出し