Container Runtime¶

Überblick¶

Container Runtime is a set of preconfigured customizable environments built for machine learning on Snowpark Container Services, covering interactive experimentation and batch ML workloads such as model training, hyperparameter tuning, batch inference and fine tuning. They include the most popular machine learning and deep learning frameworks. Used with Snowflake notebooks, they provide an end-to-end ML experience.

Ausführungsumgebung¶

The Container Runtime provides an environment populated with packages and libraries that support a wide variety of ML development tasks inside Snowflake. In addition to the pre-installed packages, you can import packages from external sources like public PyPI repositories, or internally-hosted package repositories that provide a list of packages approved for use inside your organization.

Executions of your custom Python ML workloads and supported training APIs occur within Snowpark Container Services, which offers the ability to run on CPU or GPU compute pools. When using the Snowflake ML APIs, the Container Runtime distributes the processing across available resources.

Verteilte Verarbeitung¶

Die Modellierung und das Laden von Daten in Snowflake-ML APIs basieren auf dem verteilten Verarbeitungssystem von Snowflake-ML, das die Auslastung der Ressourcen maximiert, indem es die verfügbare Rechenleistung voll ausschöpft. Dieses Framework verwendet standardmäßig alle GPUs auf mehrerenGPU-Knoten, was im Vergleich zu Open-Source-Paketen erhebliche Leistungsverbesserungen bietet und die Laufzeit insgesamt verkürzt.

Die Machine Learning-Workloads, einschließlich des Ladens von Daten, werden in einer von Snowflake verwalteten Rechenumgebung ausgeführt. Das Framework ermöglicht eine dynamische Skalierung der Ressourcen auf der Grundlage der spezifischen Anforderungen der jeweiligen Aufgabe, wie z. B. dem Training von Modellen oder dem Laden von Daten. Die Anzahl der Ressourcen, einschließlich GPU und die Zuweisung von Speicher für jede Aufgabe, kann einfach über die bereitgestellte APIs konfiguriert werden.

Optimiertes Laden von Daten¶

Die Container Runtime bietet eine Reihe von Datenkonnektoren APIs, die es ermöglichen, Snowflake-Datenquellen (einschließlich Tabellen, DataFrames und Datensets) mit gängigen ML-Frameworks wie PyTorch und TensorFlow zu verbinden und dabei die Vorteile mehrerer Kerne oder GPUs voll auszunutzen. Sobald die Daten geladen sind, können sie mit Open-Source-Paketen oder einer der ML-APIs von Snowflake verarbeitet werden. Diese APIs finden Sie im Namespace snowflake.ml.data.

Die Klasse snowflake.ml.data.data_connector.DataConnector verbindet die Snowpark-DataFrames oder Snowflake ML-Datensets mit TensorFlow oder PyTorch-DataSets oder Pandas-DataFrames. Klasse Instanziieren Sie einen Konnektor mit einer der folgenden Methoden der Klasse:

• DataConnector.from_dataframe: Akzeptiert einen Snowpark-DataFrame.

• DataConnector.from_dataset: Akzeptiert ein Snowflake-ML-Datenset, das durch Name und Version spezifiziert ist.

• DataConnector.from_sources: Akzeptiert eine Liste von Quellen, von denen jede eine DataFrame oder ein Datenset sein kann.

Sobald Sie den Konnektor instanziiert haben (indem Sie die Instanz, zum Beispiel data_connector aufrufen), rufen Sie die folgenden Methoden auf, um die gewünschte Art von Ausgabe zu erzeugen.

• data_connector.to_tf_dataset: Liefert ein TensorFlow-Datenset, das für die Verwendung mit TensorFlow geeignet ist.

• data_connector.to_torch_dataset: Liefert ein PyTorch-Datenset, das für die Verwendung mit PyTorch geeignet ist.

Weitere Informationen zu diesen APIs finden Sie in der Snowflake ML API-Referenz.

Entwicklung mit Open Source¶

Mit den grundlegenden CPU- und GPU-Images, die bereits mit gängige ML-Pakete enthalten, und der Flexibilität, zusätzliche Bibliotheken über pip zu installieren, können Benutzer vertraute und innovative Open-Source-Frameworks innerhalb von Snowflake Notebooks einsetzen, ohne Daten aus Snowflake herauszubewegen. Sie können die Verarbeitung skalieren, indem Sie die verteilten APIs von Snowflake für das Laden von Daten, das Training und die Optimierung von Hyperparametern verwenden – mit den vertrauten APIs von gängigen-OSS Paketen und kleinen Änderungen an der Weboberfläche zur Konfiguration der Skalierung.

Der folgende Code veranschaulicht die Erstellung eines XGBoost-Klassifikators unter Verwendung dieser APIs:

from snowflake.snowpark.context import get_active_session
from snowflake.ml.data.data_connector import DataConnector
import pandas as pd
import xgboost as xgb
from sklearn.model_selection import train_test_split

session = get_active_session()

# Use the DataConnector API to pull in large data efficiently
df = session.table("my_dataset")
pandas_df = DataConnector.from_dataframe(df).to_pandas()

# Build with open source

X = df_pd[['feature1', 'feature2']]
y = df_pd['label']

# Split data into test and train in memory
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.15, random_state=34)

# Train in memory
model = xgb.XGBClassifier()
model.fit(X_train, y_train)

# Predict
y_pred = model.predict(X_test)

Die CPU Container Runtime hat andere Pakete als dieGPU Container Runtime. In den folgenden Abschnitten sind die in den einzelnen Container-Laufzeitumgebungen verfügbaren Pakete aufgeführt.

Pakete der Snowflake Runtime¶

Optimiertes Training¶

Container Runtime offers a set of distributed training APIs, including distributed versions of LightGBM, PyTorch, and XGBoost, that take full advantage of the available resources in the container environment. These are found in the snowflake.ml.modeling.distributors namespace. The APIs of the distributed classes are similar to those of the standard versions.

Weitere Informationen zu diesen APIs finden Sie in der API-Referenz.

Nächste Schritte¶

• To try the notebook using Container Runtime, see Notebooks on Container Runtime.