Container Runtime¶

Visão geral¶

Container Runtime is a set of preconfigured customizable environments built for machine learning on Snowpark Container Services, covering interactive experimentation and batch ML workloads such as model training, hyperparameter tuning, batch inference and fine tuning. They include the most popular machine learning and deep learning frameworks. Used with Snowflake notebooks, they provide an end-to-end ML experience.

Ambiente de execução¶

The Container Runtime provides an environment populated with packages and libraries that support a wide variety of ML development tasks inside Snowflake. In addition to the pre-installed packages, you can import packages from external sources like public PyPI repositories, or internally-hosted package repositories that provide a list of packages approved for use inside your organization.

Executions of your custom Python ML workloads and supported training APIs occur within Snowpark Container Services, which offers the ability to run on CPU or GPU compute pools. When using the Snowflake ML APIs, the Container Runtime distributes the processing across available resources.

Processamento distribuído¶

A modelagem de ML e as APIs de carregamento de dados Snowflake são desenvolvidas com base na estrutura de processamento distribuído de ML Snowflake, que maximiza a utilização de recurso aproveitando totalmente o poder de computação disponível. Por padrão, esta estrutura usa todas as GPUs em nós com mais de uma GPU, oferecendo melhorias significativas de desempenho em comparação aos pacotes de código aberto e reduzindo o tempo de execução geral.

As cargas de trabalho de aprendizado de máquina, incluindo o carregamento de dados, são executadas em um ambiente de computação gerenciado pelo Snowflake. A estrutura permite o dimensionamento dinâmico de recursos com base nos requisitos específicos da tarefa em questão, como modelos de treinamento ou carregamento de dados. O número de recursos, incluindo alocação de GPU e memória para cada tarefa, pode ser facilmente configurado por meio das APIs.

Carregamento de dados otimizado¶

O Container Runtime fornece um conjunto de APIs de conectores de dados que permite conectar as fontes de dados do Snowflake (incluindo tabelas, DataFrames e Datasets) a frameworks ML populares, como PyTorch e TensorFlow, aproveitando ao máximo os vários núcleos ou GPUs. Depois de carregados, os dados podem ser processados usando pacotes de código aberto ou qualquer uma das APIs Snowflake ML, incluindo as versões distribuídas descritas abaixo. Essas APIs são encontradas no namespace snowflake.ml.data.

A classe snowflake.ml.data.data_connector.DataConnector conecta Snowpark DataFrames ou Snowflake ML Datasets a TensorFlow ou PyTorch DataSets ou Pandas DataFrames. Instancie um conector usando um dos seguintes métodos de classe:

• DataConnector.from_dataframe: aceita um Snowpark DataFrame.

• DataConnector.from_dataset: aceita um conjunto de dados de ML do Snowflake, especificado por nome e versão.

• DataConnector.from_sources: aceita uma lista de fontes, cada uma das quais pode ser um DataFrame ou um conjunto de dados.

Depois de instanciar o conector (chamando a instância, por exemplo, data_connector), chame os métodos a seguir para produzir o tipo desejado de saída.

• data_connector.to_tf_dataset: retorna um conjunto de dados TensorFlow adequado para uso com TensorFlow.

• data_connector.to_torch_dataset: retorna um conjunto de dados PyTorch adequado para uso com PyTorch.

Para mais informações sobre essas APIs, consulte a referência API de ML do Snowflake.

Criação com código aberto¶

Com as imagens básicas de CPU e GPU que vêm pré-preenchidas com pacotes populares de ML e a flexibilidade de instalar bibliotecas adicionais usando pip, os usuários podem empregar estruturas de código aberto familiares e inovadoras dentro do Snowflake Notebooks, sem mover os dados para fora do Snowflake. Você pode dimensionar o processamento usando APIs distribuídas do Snowflake para carregamento de dados, treinamento e otimização de hiperparâmetros, com as APIs conhecidas dos pacotes OSS populares, com pequenas alterações na interface para permitir configurações de dimensionamento.

O código a seguir ilustra a criação de um classificador XGBoost usando essas APIs:

from snowflake.snowpark.context import get_active_session
from snowflake.ml.data.data_connector import DataConnector
import pandas as pd
import xgboost as xgb
from sklearn.model_selection import train_test_split

session = get_active_session()

# Use the DataConnector API to pull in large data efficiently
df = session.table("my_dataset")
pandas_df = DataConnector.from_dataframe(df).to_pandas()

# Build with open source

X = df_pd[['feature1', 'feature2']]
y = df_pd['label']

# Split data into test and train in memory
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.15, random_state=34)

# Train in memory
model = xgb.XGBClassifier()
model.fit(X_train, y_train)

# Predict
y_pred = model.predict(X_test)

O tempo de execução do contêiner do CPU tem pacotes diferentes em comparação ao GPU. As seções a seguir listam os pacotes disponíveis em cada tempo de execução de contêiner.

Pacotes de tempo de execução do Snowflake¶

Treinamento otimizado¶

Container Runtime offers a set of distributed training APIs, including distributed versions of LightGBM, PyTorch, and XGBoost, that take full advantage of the available resources in the container environment. These are found in the snowflake.ml.modeling.distributors namespace. The APIs of the distributed classes are similar to those of the standard versions.

Para mais informações sobre essas APIs, consulte a Referência de API.

Próximos passos¶

• To try the notebook using Container Runtime, see Notebooks on Container Runtime.