Snowpark ML Modeling: desenvolvimento de modelo de ML¶

Classes do Snowpark ML Modeling¶

Todas as classes do Snowpark ML Modeling e de pré-processamento estão no namespace snowflake.ml.modeling. Os módulos do Snowpark ML têm o mesmo nome que os módulos correspondentes do namespace sklearn. Por exemplo, o módulo Snowpark ML correspondente a sklearn.calibration é snowflake.ml.modeling.calibration.

O módulos xgboost e lightgbm correspondem a snowflake.ml.modeling.xgboost e snowflake.ml.modeling.lightgbm, respectivamente.

Nem todas as classes do scikit-learn são suportadas no Snowpark ML. A tabela abaixo indica quais classes são suportadas. Classes marcadas com um asterisco (:sobrescrito:`*`) oferecem suporte à execução distribuída.

Diferenças gerais da API¶

O Snowpark ML Modeling inclui pré-processamento de dados, transformação e algoritmos de previsão baseados em scikit-learn, xgboost e lightgbm. As classes Snowpark Python são substituições para as classes correspondentes dos pacotes originais, com assinaturas semelhantes. No entanto, estas APIs são projetadas para funcionar com o Snowpark DataFrames em vez das matrizes NumPy.

Embora a API do Snowpark ML Modeling seja semelhante ao scikit-learn, existem algumas diferenças importantes. Esta seção explica como chamar os métodos __init__ (construtor), fit e predict para as classes estimador e transformador fornecidas no Snowpark ML.

• O construtor de todas as classes do Snowpark ML Python aceitam cinco parâmetros adicionais — input_cols, output_cols, sample_weight_col, label_cols e drop_input_cols — além dos parâmetros aceitos pelas classes equivalentes em scikit-learn, xgboost ou lightgbm. São cadeias de caracteres, ou sequências de cadeias de caracteres, que especificam os nomes das colunas de entrada, colunas de saída, coluna de peso de amostra e colunas de rótulo em um DataFrame do Snowpark ou Pandas.

• Os métodos fit e predict no Snowpark ML aceitam um único DataFrame em vez de matrizes separadas que representam dados de entrada, rótulos e pesos. Com o Snowpark ML, você especifica os nomes das colunas a serem usadas para essas finalidades ao instanciar a classe; esses nomes são usados para encontrar as colunas necessárias no DataFrame que você passa para fit ou predict. Consulte fit e predict.

• Os métodos transform e predict no Snowpark ML retornam um DataFrame contendo todas as colunas do DataFrame passado para o método, com a saída da previsão armazenada em colunas adicionais. (Você pode transformar no local especificando os mesmos nomes de coluna de entrada e saída ou eliminar as colunas de entrada passando drop_input_cols = True.) Os equivalentes scikit-learn, xgboost e lightgbm retornam matrizes contendo apenas os resultados.

• Os transformadores Snowpark Python não têm um método fit_transform. No entanto, como no scikit-learn, a validação de parâmetros é realizada apenas no método fit, então você deve chamar fit em algum momento antes de transform, mesmo quando o transformador não tem nenhum encaixe. fit retorna o transformador, então as chamadas de método podem ser encadeadas; por exemplo, Binarizer(threshold=0.5).fit(df).transform(df).

• Os transformadores Snowpark ML não têm um método inverse_transform. Este método é desnecessário com o Snowpark ML porque a representação original permanece disponível nas colunas de entrada do DataFrame de entrada, que são preservadas, a menos que você execute explicitamente uma transformação no local especificando os mesmos nomes para as colunas de entrada e saída.

from sklearn.tree import DecisionTreeClassifier

model = DecisionTreeClassifier()

model.fit(
    X=df[feature_column_names], y=df[label_column_names], sample_weight=df[weight_column_name]
)

model.fit(df)

prediction_results = model.predict(X=df[feature_column_names])

prediction_results = model.predict(df)[output_column_names]

Como implantar e executar seu modelo¶

O resultado do treinamento de um modelo é um objeto de modelo Python do Snowpark ML. Você pode usar o modelo treinado para fazer previsões chamando o método predict do modelo. Isso cria uma função temporária definida pelo usuário para executar o modelo em seu warehouse virtual Snowflake. Esta função é excluída automaticamente no fim de sua sessão do Snowpark ML (por exemplo, quando seu script termina ou quando você fecha seu Jupyter Notebook).

Para manter a função definida pelo usuário após o término da sessão, você pode criá-la manualmente. Consulte o Guia de início rápido sobre o tópico para obter mais informações.

O registro de modelo do Snowpark ML, um recurso futuro, também oferece suporte a modelos persistentes e facilita sua localização e implantação. Para obter acesso antecipado à documentação sobre esse recurso, entre em contato com o representante da Snowflake.

Pipeline para múltiplas transformações¶

Com o scikit-learn, é comum executar uma série de transformações usando um pipeline. Os pipelines do scikit-learn não funcionam com classes do Snowpark ML, portanto, o Snowpark ML fornece uma versão Snowpark Python de sklearn.pipeline.Pipeline para executar uma série de transformações. Esta classe está no pacote snowflake.ml.modeling.pipeline e funciona da mesma forma que a versão scikit-learn.

Limitações conhecidas¶

• Os estimadores e transformadores do Snowpark ML atualmente não oferecem suporte às entradas esparsas ou respostas esparsas. Se você tiver dados esparsos, converta-os em um formato denso antes de passá-los para os estimadores ou transformadores do Snowpark ML.

• O pacote Snowpark ML atualmente não oferece suporte a tipos de dados de matriz. Qualquer operação em estimadores e transformadores que produzam uma matriz como resultado falha.

• Não há garantia de que a ordem das linhas nos dados de resultado corresponda à ordem das linhas nos dados de entrada.

Solução de problemas¶

import logging, sys

logging.basicConfig(stream=sys.stdout, level=logging.DEBUG)

Leitura adicional¶

Consulte a documentação das bibliotecas originais para obter informações completas sobre sua funcionalidade.

• Scikit-Learn

• XGBoost

• LightGBM

Aviso¶

Algumas partes deste documento são derivadas da documentação do Scikit-learn, que é licenciada sob a licença BSD-3 «Nova» ou «Revisada» e Copyright © 2007-2023 The scikit-learn developers. Todos os direitos reservados.

Algumas partes deste documento são derivadas da documentação XGboost, que é coberta pela licença Apache 2.0, janeiro de 2004 e Copyright © 2019. Todos os direitos reservados.

Algumas partes deste documento são derivadas da documentação LightGBM, que é licenciado para MIT e Copyright © Microsoft Corp. Todos os direitos reservados.