Explicabilité des modèles¶

Types de modèles pris en charge¶

Cette version préliminaire prend en charge les paquets de modèles natifs Python suivants.

• XGBoost

• CatBoost

• LightGBM

• Scikit-learn

Les classes de modélisation ML de Snowpark suivantes depuis snowflake.ml.modeling sont prises en charge.

• XGBoost

• LightGBM

• Scikit-learn (sauf modèles de pipeline)

L’explicabilité est disponible par défaut pour les modèles ci-dessus enregistrés à l’aide de Snowpark ML 1.6.2 et versions ultérieures. L’implémentation utilise la bibliothèque SHAP.

Modèles de journalisation avec données d’arrière-plan¶

Les données d’arrière-plan, généralement un échantillon de données représentatives, constituent un ingrédient important des explications basées sur la valeur de Shapley. Les données d’arrière-plan donnent à l’algorithme de Shapley une idée de ce à quoi ressemblent les entrées « moyennes » avec lesquelles il peut comparer les explications individuelles.

La valeur de Shapley est calculée en confrontant systématiquement les entités d’entrée et en les remplaçant par les données d’arrière-plan. Étant donné qu’elle signale un écart par rapport aux données d’arrière-plan, il est important d’utiliser des données d’arrière-plan cohérentes lors de la comparaison des valeurs Shapley provenant de plusieurs ensembles de données.

Certains modèles basés sur des arborescences codent implicitement les données d’arrière-plan dans leur structure pendant l’entraînement et peuvent ne pas nécessiter de données d’arrière-plan explicites. Cependant, la plupart des modèles nécessitent que des données d’arrière-plan soient fournies séparément pour des explications utiles, et tous les modèles (y compris les modèles basés sur des arborescences) peuvent être expliqués plus précisément si vous fournissez des données d’arrière-plan.

Vous pouvez fournir jusqu’à 1 000 lignes de données d’arrière-plan lors de la journalisation d’un modèle en le transmettant dans le paramètre sample_input_data, comme indiqué ci-dessous.

mv = reg.log_model(
    catboost_model,
    model_name="diamond_catboost_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    sample_input_data = xs, # xs will be used as background data
)

Vous pouvez également fournir des données d’arrière-plan lors de la journalisation du modèle avec une signature, comme indiqué ci-dessous.

mv = reg.log_model(
    catboost_model,
    model_name="diamond_catboost_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    signatures={"predict": predict_signature, "predict_proba": predict_proba_signature},
    sample_input_data = xs, # xs will be used as background data
    options= {"enable_explainability": True} # you will need to set this flag in order to pass both signatures and background data
)

Récupération des valeurs d’explicabilité¶

Les modèles avec explicabilité ont une méthode nommée explain qui renvoie les valeurs de Shapley pour les fonctionnalités du modèle.

Étant donné que les valeurs de Shapley sont des explications de prédictions faites à partir d’entrées spécifiques, vous devez transmettre les données d’entrée à explain pour générer les prédictions à expliquer.

L’objet de version du modèle Snowflake aura une méthode appelée explain, et vous l’appelez en utilisant ModelVersion.run en Python.

reg = Registry(...)
mv = reg.get_model("Explainable_Catboost_Model").default
explanations = mv.run(input_data, function_name="explain")

Voici un exemple de récupération de l’explication dans SQL.

WITH MV_ALIAS AS MODEL DATABASE.SCHEMA.DIAMOND_CATBOOST_MODEL VERSION EXPLAIN_V0
SELECT *,
      FROM DATABASE.SCHEMA.DIAMOND_DATA,
          TABLE(MV_ALIAS!EXPLAIN(CUT, COLOR, CLARITY, CARAT, DEPTH, TABLE_PCT, X, Y, Z));

mv_new = reg.log_model(
    model,
    model_name="model_with_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    sample_input_data = xs,
    options={"relax_version": False}
)

Ajout d’explicabilité aux modèles existants¶

Les modèles enregistrés dans le registre à l’aide d’une version de Snowpark ML antérieure à la version 1.6.2 ne disposent pas de la fonctionnalité d’explicabilité. Les versions de modèle étant immuables, vous devez créer une nouvelle version de modèle pour ajouter de l’explicabilité à un modèle existant. Vous pouvez utiliser ModelVersion.load pour récupérer l’objet Python représentant l’implémentation du modèle, puis l’enregistrer dans le registre en tant que nouvelle version du modèle. Assurez-vous de transmettre vos données d’arrière-plan comme sample_input_data. Cette approche est illustrée ci-dessous.

mv_old = reg.get_model("model_without_explain_enabled").default
model = mv_old.load()
mv_new = reg.log_model(
    model,
    model_name="model_with_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    sample_input_data = xs
)

Modèles de journalisation sans explicabilité¶

L’explicabilité est activée par défaut si le modèle la prend en charge. Pour enregistrer une version de modèle dans le registre sans explication, passez False pour l’option enable_explainability lors de la journalisation du modèle, comme indiqué ici.

mv = reg.log_model(
    catboost_model,
    model_name="diamond_catboost_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    sample_input_data = xs,
    options= {"enable_explainability": False}
)