Snowpark ML: aprendizado de máquina ponta a ponta no Snowflake¶

Snowpark ML Modeling¶

Snowpark ML Modeling oferece suporte ao pré-processamento de dados, engenharia de recursos e treinamento de modelo no Snowflake usando estruturas populares de aprendizado de máquina, como scikit-learn, xgboost e lightgbm. Esta API também inclui um módulo de pré-processamento que pode usar recursos de computação fornecidos por um warehouse otimizado para Snowpark para fornecer transformações de dados escalonáveis.

Snowpark ML Operations¶

Snowpark ML Operations (MLOps), apresentando o registro de modelo do Snowpark ML, complementa a API Snowpark ML Development. O registro de modelo permite a implantação e o gerenciamento seguros de modelos no Snowflake e oferece suporte a modelos treinados dentro e fora do Snowflake.

Snowpark ML Data Access¶

O Snowpark ML Data Access oferece maneiras simples e de alto desempenho de alimentar dados em seus modelos de aprendizado de máquina.

• A FileSet API fornece uma API compatível com Python fsspec para materializar dados em um estágio interno do Snowflake a partir de uma consulta ou Snowpark DataFrame. Ela também fornece métodos convenientes para trabalhar com os dados e alimentá-los no PyTorch ou TensorFlow.

• Um conjunto de conectores de framework fornecem provisionamento de dados otimizado, seguro e de alto desempenho para os frameworks de Pytorch e Tensorflow em seus formatos nativos de carregador de dados.

Instalação do Snowpark ML do canal Snowflake conda¶

1. Crie o ambiente conda onde você instalará o Snowpark ML. Se preferir usar um ambiente existente, pule esta etapa.

   conda create --name snowpark-ml
   

   Copy

2. Ative o ambiente conda:

   conda activate snowpark-ml
   

   Copy

3. Instale o Snowpark ML do canal Snowflake conda:

   conda install --override-channels --channel https://repo.anaconda.com/pkgs/snowflake/ snowflake-ml-python
   

   Copy

Instalação do Snowpark ML de PyPI¶

Você pode instalar o pacote Snowpark ML a partir do Python Package Index (PyPI) usando o gerenciador de pacotes Python padrão, pip.

1. Mude para o diretório do seu projeto e ative seu ambiente virtual Python:

   cd ~/projects/ml
   source .venv/bin/activate
   

   Copy

2. Instale o pacote Snowpark ML:

   python -m pip install snowflake-ml-python
   

   Copy

Instalação de dependências de modelagem opcionais¶

Algumas APIs do Snowpark ML Modeling exigem dependências que não são instaladas como dependências do Snowpark ML. Os pacotes scikit-learn e xgboost são instalados por padrão quando você instala o Snowpark ML Modeling, mas lightgbm é uma dependência opcional. Se você planeja usar classes no namespace snowflake.ml.modeling.lightgbm, instale o lightgbm por conta própria.

Use os comandos a seguir para ativar seu ambiente conda e instalar o lightgbm do canal Snowflake conda.

conda activate snowpark-ml
conda install --override-channels --channel https://repo.anaconda.com/pkgs/snowflake/ lightgbm

Use os seguintes comandos para ativar seu ambiente virtual e instalar o lightgbm usando pip.

.venv/bin/activate
python -m pip install 'snowflake-ml-python[lightgbm]'

O Snowflake pode adicionar dependências opcionais adicionais ao Snowpark ML de tempos em tempos. Para instalar todas as dependências opcionais usando pip:

.venv/bin/activate
python -m pip install 'snowflake-ml-python[all]'

Configuração do Snowpark Python¶

Snowpark Python é uma dependência do Snowpark ML e é instalado automaticamente com o Snowpark ML. Se o Snowpark Python não estiver configurado em seu sistema, talvez seja necessário executar etapas adicionais de configuração. Consulte Configuração do seu ambiente de desenvolvimento para o Snowpark Python para obter instruções de configuração do Snowpark Python.

Especificação de um warehouse¶

Muitas partes do Snowpark ML, por exemplo, treinar um modelo ou executar inferência, executam código em um warehouse do Snowflake. Essas operações são executadas no warehouse especificado pela sessão usada para conexão. Por exemplo, se você criar uma sessão a partir de uma conexão nomeada em seu arquivo de configuração SnowSQL, poderá especificar um warehouse usando o parâmetro warehousename na configuração nomeada.

Você pode adicionar a configuração do warehouse ao criar o objeto Session, conforme mostrado aqui, se ele ainda não existir na configuração.

from snowflake.snowpark import Session
from snowflake.ml.utils import connection_params
# Get named connection from SnowQSL configuration file
params = connection_params.SnowflakeLoginOptions("myaccount")
# Add warehouse name for model method calls if it's not already present
if "warehouse" not in params:
    params["warehouse"] = "mlwarehouse"
sp_session = Session.builder.configs(params).create()

Se nenhum warehouse for especificado na sessão ou se você quiser usar um warehouse diferente, chame o método use_warehouse da sessão.

sp_session.use_warehouse("mlwarehouse")