Erklärbarkeit des Modells¶

Unterstützte Modelltypen¶

Dieses Vorschau-Release unterstützt die folgenden Python-nativen Modellpakete.

• XGBoost

• CatBoost

• LightGBM

• Scikit-learn

Die folgenden Snowpark-ML-Modellklassen von snowflake.ml.modeling werden unterstützt.

• XGBoost

• LightGBM

• Scikit-learn (außer Pipeline Modelle)

Die Erklärbarkeit ist standardmäßig für die oben genannten Modelle verfügbar, die mit Snowpark-ML 1.6.2 und höher angemeldet wurden. Die Implementierung verwendet die SHAP-Bibliothek.

Protokolliermodelle mit Hintergrunddaten¶

Hintergrunddaten, in der Regel ein Beispiel für repräsentative Daten, sind ein wichtiger Bestandteil von Shapley-wertbasierten Erklärungen. Hintergrunddaten geben dem Shapley-Algorithmus eine Vorstellung davon, wie „durchschnittliche“ Eingaben aussehen, mit denen er individuelle Erklärungen vergleichen kann.

Der Shapley-Wert wird berechnet, indem die Eingaben der Features systematisch gestört und durch die Hintergrunddaten ersetzt werden. Da es die Abweichung von den Hintergrunddaten meldet, ist es wichtig, konsistente Hintergrunddaten zu verwenden, wenn Sie Shapley-Werte aus mehreren Datensätzen vergleichen.

Einige baumbasierte Modelle kodieren während des Trainings implizit Hintergrunddaten in ihrer Struktur und benötigen keine expliziten Hintergrunddaten. Die meisten Modelle erfordern jedoch für sinnvolle Erklärungen die gesonderte Bereitstellung von Hintergrunddaten. Alle Modelle (einschließlich der auf Strukturbäumen basierenden Modelle) können genauer erklärt werden, wenn Sie Hintergrunddaten bereitstellen.

Sie können bei der Protokollierung eines Modells bis zu 1.000 Zeilen an Hintergrunddaten bereitstellen, indem Sie es im sample_input_data-Parameter übergeben, wie unten gezeigt.

mv = reg.log_model(
    catboost_model,
    model_name="diamond_catboost_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    sample_input_data = xs, # xs will be used as background data
)

Sie können auch Hintergrunddaten bereitstellen, während Sie das Modell mit einer Signatur protokollieren, wie unten gezeigt.

mv = reg.log_model(
    catboost_model,
    model_name="diamond_catboost_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    signatures={"predict": predict_signature, "predict_proba": predict_proba_signature},
    sample_input_data = xs, # xs will be used as background data
    options= {"enable_explainability": True} # you will need to set this flag in order to pass both signatures and background data
)

Abrufen von Erklärbarkeitswerten¶

Modelle mit Erklärbarkeit haben eine Methode namens explain, die die Shapley-Werte für die Features des Modells zurückgibt.

Da es sich bei Shapley-Werten um Erklärungen von Vorhersagen handelt, die auf der Grundlage bestimmter Eingaben gemacht wurden, müssen Sie Eingabedaten an explain weitergeben, um die zu erklärenden Vorhersagen zu generieren.

Das Snowflake-Modellversionsobjekt hat eine Methode namens explain, die Sie in Python mit ModelVersion.run aufrufen.

reg = Registry(...)
mv = reg.get_model("Explainable_Catboost_Model").default
explanations = mv.run(input_data, function_name="explain")

Im Folgenden finden Sie ein Beispiel für das Abrufen der Erklärung in SQL.

WITH MV_ALIAS AS MODEL DATABASE.SCHEMA.DIAMOND_CATBOOST_MODEL VERSION EXPLAIN_V0
SELECT *,
      FROM DATABASE.SCHEMA.DIAMOND_DATA,
          TABLE(MV_ALIAS!EXPLAIN(CUT, COLOR, CLARITY, CARAT, DEPTH, TABLE_PCT, X, Y, Z));

mv_new = reg.log_model(
    model,
    model_name="model_with_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    sample_input_data = xs,
    options={"relax_version": False}
)

Höhere Erklärbarkeit für bestehende Modelle¶

Modelle, die mit einer Version von Snowpark ML älter als 1.6.2 in der Registrierung erfasst wurden, verfügen nicht über das Erklärbarkeit-Feature. Da Modellversionen unveränderlich sind, müssen Sie eine neue Modellversion erstellen, um für eine höhere Erklärbarkeit eines bestehendes Modell zu sorgen. Sie können ModelVersion.load verwenden, um das Python-Objekt abzurufen, das die Implementierung des Modells darstellt, und dieses dann in der Registrierung als neue Modellversion protokollieren. Stellen Sie sicher, dass Sie Ihre Hintergrunddaten als sample_input_data übergeben. Dieser Ansatz wird im Folgenden dargestellt.

mv_old = reg.get_model("model_without_explain_enabled").default
model = mv_old.load()
mv_new = reg.log_model(
    model,
    model_name="model_with_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    sample_input_data = xs
)

Protokollierungsmodelle ohne Erklärbarkeit¶

Die Erklärbarkeit ist standardmäßig aktiviert, wenn das Modell sie unterstützt. Um eine Modellversion in der Registrierung ohne Erklärbarkeit zu protokollieren, geben Sie bei der Protokollierung des Modells False für die Option enable_explainability an, wie hier gezeigt.

mv = reg.log_model(
    catboost_model,
    model_name="diamond_catboost_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    sample_input_data = xs,
    options= {"enable_explainability": False}
)