モデルの説明可能性¶

サポートされているモデルのタイプ¶

このプレビューリリースでは、以下のPythonネイティブモデルパッケージをサポートしています。

• XGBoost

• CatBoost

• LightGBM

• Scikit-learn

snowflake.ml.modeling の以下の Snowpark ML モデリングクラスがサポートされています。

• XGBoost

• LightGBM

• Scikit-learn (パイプラインモデルを除く)

説明可能性は、Snowpark ML 1.6.2以降を使用してログに記録された上記のモデルでデフォルトで利用可能です。実装には SHAP ライブラリ を使用します。

背景データによるログ・モデル¶

背景データ（通常、代表的なデータのサンプル）は、Shapley値に基づく説明の重要な要素です。背景データは、Shapley・アルゴリズムが個々の説明を比較できる「平均的な」入力がどのようなものかを示します。

Shapley値は、入力特徴を系統的に摂動させ、背景データと置き換えることによって計算されます。背景データからの偏差を報告するため、複数のデータセットのShapley値を比較する際には、一貫性のある背景データを使用することが重要です。

ツリーベースのモデルの中には、学習中に暗黙的に背景データを構造内にエンコードするものもあり、明示的な背景データを必要としない場合もあります。しかし、ほとんどのモデルでは、有益な説明をするために背景データを別途提供する必要があり、背景データを提供した方が、すべてのモデル（ツリーベースのモデルを含む）をより正確に説明することができます。

以下のように、 sample_input_data パラメータに渡すことで、モデルのログ時に最大1,000行のバックグラウンドデータを提供することができます。

mv = reg.log_model(
    catboost_model,
    model_name="diamond_catboost_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    sample_input_data = xs, # xs will be used as background data
)

また、以下のようにシグネチャーでモデルをログに記録しながら、バックグラウンドデータを提供することもできます。

mv = reg.log_model(
    catboost_model,
    model_name="diamond_catboost_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    signatures={"predict": predict_signature, "predict_proba": predict_proba_signature},
    sample_input_data = xs, # xs will be used as background data
    options= {"enable_explainability": True} # you will need to set this flag in order to pass both signatures and background data
)

説明可能性の値の取得¶

説明可能性を持つモデルには、 explain というメソッドがあり、モデルの特徴量のShapley値を返します。

Shapley値は特定の入力から作られる予測の説明であるため、説明される予測を生成するために入力データを explain に渡す必要があります。

Snowflakeのモデルバージョンオブジェクトには explain というメソッドがあり、Pythonの ModelVersion.run を使って呼び出します。

reg = Registry(...)
mv = reg.get_model("Explainable_Catboost_Model").default
explanations = mv.run(input_data, function_name="explain")

以下は、 SQL の説明を取得する例です。

WITH MV_ALIAS AS MODEL DATABASE.SCHEMA.DIAMOND_CATBOOST_MODEL VERSION EXPLAIN_V0
SELECT *,
      FROM DATABASE.SCHEMA.DIAMOND_DATA,
          TABLE(MV_ALIAS!EXPLAIN(CUT, COLOR, CLARITY, CARAT, DEPTH, TABLE_PCT, X, Y, Z));

mv_new = reg.log_model(
    model,
    model_name="model_with_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    sample_input_data = xs,
    options={"relax_version": False}
)

既存のモデルに説明可能性を加える¶

1.6.2より古いバージョンのSnowpark ML を使用してレジストリにログに記録されたモデルには、説明可能性の機能がありません。モデルのバージョンは不変なので、既存のモデルに説明可能性を追加するには、新しいモデルのバージョンを作成しなければなりません。 ModelVersion.load を使ってモデルの実装を表す Python オブジェクトを取得し、それを新しいモデルのバージョンとしてレジストリのログに記録することができます。背景データは必ず sample_input_data として渡してください。このアプローチを以下に示します。

mv_old = reg.get_model("model_without_explain_enabled").default
model = mv_old.load()
mv_new = reg.log_model(
    model,
    model_name="model_with_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    sample_input_data = xs
)

説明可能性のないログ・モデル¶

モデルがサポートしていれば、説明可能性はデフォルトで有効になります。説明可能性のないモデルのバージョンをレジストリに記録するには、ここに示されているように、モデルにログをする時に enable_explainability オプションに False を渡します。

mv = reg.log_model(
    catboost_model,
    model_name="diamond_catboost_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    sample_input_data = xs,
    options= {"enable_explainability": False}
)