Explicabilidade do modelo¶

Tipos de modelo compatíveis¶

Este lançamento de versão oferece suporte aos seguintes pacotes de modelo nativos do Python.

• XGBoost

• CatBoost

• LightGBM

• Scikit-learn

As seguintes classes de modelagem de ML Snowpark de snowflake.ml.modeling são compatíveis.

• XGBoost

• LightGBM

• Scikit-learn (exceto modelos de pipeline)

A explicabilidade está disponível por padrão para os modelos acima registrados usando o Snowpark ML 1.6.2 e posteriores. A implementação usa a biblioteca SHAP

Modelos de registro com dados em segundo plano¶

Dados em segundo plano, normalmente uma amostra de dados representativos, são um ingrediente importante das explicações baseadas em valores de Shapley. Os dados em segundo plano dão ao algoritmo Shapley uma ideia de como são as entradas “médias”, com as quais ele pode comparar explicações individuais.

O valor de Shapley é calculado perturbando sistematicamente os recursos de entrada e substituindo-os pelos dados em segundo plano. Como ele relata desvios dos dados em segundo plano, é importante usar dados de segundo plano consistentes ao comparar os valores de Shapley de vários conjuntos de dados.

Alguns modelos baseados em árvore codificam implicitamente dados de fundo em sua estrutura durante o treinamento e podem não exigir dados em segundo plano explícitos. A maioria dos modelos, no entanto, exige que dados em segundo plano sejam fornecidos separadamente para explicações úteis, e todos os modelos (incluindo modelos baseados em árvores) podem ser explicados com mais precisão se você fornecer dados de contexto.

É possível fornecer até mil linhas de dados de segundo plano ao registrar um modelo, passando-os no parâmetro sample_input_data, conforme mostrado abaixo.

mv = reg.log_model(
    catboost_model,
    model_name="diamond_catboost_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    sample_input_data = xs, # xs will be used as background data
)

Você também pode fornecer dados de segundo plano ao registrar o modelo com uma assinatura, conforme mostrado abaixo.

mv = reg.log_model(
    catboost_model,
    model_name="diamond_catboost_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    signatures={"predict": predict_signature, "predict_proba": predict_proba_signature},
    sample_input_data = xs, # xs will be used as background data
    options= {"enable_explainability": True} # you will need to set this flag in order to pass both signatures and background data
)

Recuperando valores de explicabilidade¶

Modelos com explicabilidade têm um método chamado explain que retorna os valores de Shapley aos recursos do modelo.

Como os valores de Shapley são explicações de previsões feitas a partir de entradas específicas, é necessário passar dados de entrada para explain para gerar as previsões a serem explicadas.

O objeto da versão do modelo Snowflake terá um método chamado explain, e você o chamará usando ModelVersion.run em Python.

reg = Registry(...)
mv = reg.get_model("Explainable_Catboost_Model").default
explanations = mv.run(input_data, function_name="explain")

A seguir está um exemplo de recuperação da explicação em SQL.

WITH MV_ALIAS AS MODEL DATABASE.SCHEMA.DIAMOND_CATBOOST_MODEL VERSION EXPLAIN_V0
SELECT *,
      FROM DATABASE.SCHEMA.DIAMOND_DATA,
          TABLE(MV_ALIAS!EXPLAIN(CUT, COLOR, CLARITY, CARAT, DEPTH, TABLE_PCT, X, Y, Z));

mv_new = reg.log_model(
    model,
    model_name="model_with_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    sample_input_data = xs,
    options={"relax_version": False}
)

Como adicionar explicabilidade aos modelos existentes¶

Modelos que foram registrados no registro usando uma versão do Snowpark ML anterior à 1.6.2 não têm o recurso de explicabilidade. Como as versões do modelo são imutáveis, você deve criar uma nova versão do modelo para adicionar explicabilidade a um modelo existente. É possível usar ModelVersion.load para recuperar o objeto Python que representa a implementação do modelo e, em seguida, registrá-lo em log como uma nova versão do modelo. Certifique-se de passar seus dados em segundo plano como sample_input_data. Essa abordagem é mostrada abaixo.

mv_old = reg.get_model("model_without_explain_enabled").default
model = mv_old.load()
mv_new = reg.log_model(
    model,
    model_name="model_with_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    sample_input_data = xs
)

Modelos de registro em log sem explicabilidade¶

A explicabilidade é habilitada por padrão se for compatível com o modelo. Para registrar uma versão do modelo no registro sem explicação, passe False para a opção enable_explainability ao registrar o modelo, conforme mostrado aqui.

mv = reg.log_model(
    catboost_model,
    model_name="diamond_catboost_explain_enabled",
    version_name="explain_v0",
    conda_dependencies=["snowflake-ml-python"],
    sample_input_data = xs,
    options= {"enable_explainability": False}
)