Container Runtime para ML¶

Visão geral¶

O Container Runtime para ML é um conjunto de ambientes personalizáveis pré-configurados criados para aprendizado de máquina no Snowpark Container Services, abrangendo experimentação interativa e cargas de trabalho de ML em lote, como treinamento de modelo, ajuste de hiperparâmetros, inferência em lote e ajuste fino. Eles incluem as estruturas mais populares de aprendizado de máquina e aprendizado profundo. Usados com notebooks Snowflake, eles proporcionam uma experiência de ML completa.

Ambiente de execução¶

O Container Runtime para ML oferece um ambiente preenchido com pacotes e bibliotecas que oferecem suporte a uma ampla variedade de tarefas de desenvolvimento do ML dentro do Snowflake. Além dos pacotes pré-instalados, é possível importar pacotes de fontes externas, como repositórios PyPI públicos ou repositórios de pacote hospedados internamente, que fornecem uma lista de pacotes aprovados para uso dentro de sua organização.

As execuções de suas cargas de trabalho personalizadas em Python ML e APIs de treinamento suportado ocorrem em Snowpark Container Services, que oferece a capacidade de execução em pools de computação CPU ou GPU. Ao usar as APIs de Snowflake ML, o Container Runtime para ML distribui o processamento entre os recursos disponíveis.

Processamento distribuído¶

A modelagem de ML e as APIs de carregamento de dados Snowflake são desenvolvidas com base na estrutura de processamento distribuído de ML Snowflake, que maximiza a utilização de recurso aproveitando totalmente o poder de computação disponível. Por padrão, esta estrutura usa todas as GPUs em nós com mais de uma GPU, oferecendo melhorias significativas de desempenho em comparação aos pacotes de código aberto e reduzindo o tempo de execução geral.

As cargas de trabalho de aprendizado de máquina, incluindo o carregamento de dados, são executadas em um ambiente de computação gerenciado pelo Snowflake. A estrutura permite o dimensionamento dinâmico de recursos com base nos requisitos específicos da tarefa em questão, como modelos de treinamento ou carregamento de dados. O número de recursos, incluindo alocação de GPU e memória para cada tarefa, pode ser facilmente configurado por meio das APIs.

Carregamento de dados otimizado¶

O Container Runtime fornece um conjunto de APIs de conectores de dados que permite conectar as fontes de dados do Snowflake (incluindo tabelas, DataFrames e Datasets) a frameworks ML populares, como PyTorch e TensorFlow, aproveitando ao máximo os vários núcleos ou GPUs. Depois de carregados, os dados podem ser processados usando pacotes de código aberto ou qualquer uma das APIs Snowflake ML, incluindo as versões distribuídas descritas abaixo. Essas APIs são encontradas no namespace snowflake.ml.data.

A classe snowflake.ml.data.data_connector.DataConnector conecta Snowpark DataFrames ou Snowflake ML Datasets a TensorFlow ou PyTorch DataSets ou Pandas DataFrames. Instancie um conector usando um dos seguintes métodos de classe:

• DataConnector.from_dataframe: aceita um Snowpark DataFrame.

• DataConnector.from_dataset: aceita um conjunto de dados de ML do Snowflake, especificado por nome e versão.

• DataConnector.from_sources: aceita uma lista de fontes, cada uma das quais pode ser um DataFrame ou um conjunto de dados.

Depois de instanciar o conector (chamando a instância, por exemplo, data_connector), chame os métodos a seguir para produzir o tipo desejado de saída.

• data_connector.to_tf_dataset: retorna um conjunto de dados TensorFlow adequado para uso com TensorFlow.

• data_connector.to_torch_dataset: retorna um conjunto de dados PyTorch adequado para uso com PyTorch.

Para mais informações sobre essas APIs, consulte a referência API de ML do Snowflake.

Criação com código aberto¶

Com as imagens básicas de CPU e GPU que vêm pré-preenchidas com pacotes populares de ML e a flexibilidade de instalar bibliotecas adicionais usando pip, os usuários podem empregar estruturas de código aberto familiares e inovadoras dentro do Snowflake Notebooks, sem mover os dados para fora do Snowflake. Você pode dimensionar o processamento usando APIs distribuídas do Snowflake para carregamento de dados, treinamento e otimização de hiperparâmetros, com as APIs conhecidas dos pacotes OSS populares, com pequenas alterações na interface para permitir configurações de dimensionamento.

O código a seguir ilustra a criação de um classificador XGBoost usando essas APIs:

from snowflake.snowpark.context import get_active_session
from snowflake.ml.data.data_connector import DataConnector
import pandas as pd
import xgboost as xgb
from sklearn.model_selection import train_test_split

session = get_active_session()

# Use the DataConnector API to pull in large data efficiently
df = session.table("my_dataset")
pandas_df = DataConnector.from_dataframe(df).to_pandas()

# Build with open source

X = df_pd[['feature1', 'feature2']]
y = df_pd['label']

# Split data into test and train in memory
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.15, random_state=34)

# Train in memory
model = xgb.XGBClassifier()
model.fit(X_train, y_train)

# Predict
y_pred = model.predict(X_test)

Treinamento otimizado¶

O Container Runtime para ML oferece um conjunto de APIs de treinamento distribuído, incluindo versões distribuídas de LightGBM, PyTorch e XGBoost, que aproveitam ao máximo os recursos disponíveis no ambiente do contêiner. Elas são encontradas no namespace snowflake.ml.modeling.distributors. As APIs das classes distribuídas são semelhantes às das versões padrão.

Para mais informações sobre essas APIs, consulte a Referência de API.

APIs de modelagem do Snowflake ML¶

Quando as APIs de modelagem do Snowflake ML são usadas em um Notebook, toda a execução acontece no tempo de execução do contêiner em vez de no warehouse de consultas, com exceção do snowflake.ml.modeling.preprocessing APIs, que é executado no warehouse de consultas.

Especificação da imagem do Container Runtime¶

É possível escolher entre os tipos de imagem CPU ou GPU ao criar um notebook para executar no Container Runtime. Ambas as imagens vêm pré-instaladas com estruturas de ML populares como scikit-learn e PyTorch. Você também pode usar o Snowpark ML e tudo o que ele inclui.

Próximos passos¶

• Para testar o notebook usando o Container Runtime para ML, consulte Notebooks no Container Runtime para ML.