Snowpark ML: Umfassendes maschinelles Lernen in Snowflake¶

Snowpark ML Modeling¶

Snowpark ML Modeling unterstützt die Datenvorverarbeitung, das Feature-Engineering und das Modelltraining in Snowflake mit gängigen Frameworks für maschinelles Lernen wie scikit-learn, xgboost und lightgbm. Diese API umfasst auch ein Vorverarbeitungsmodul, das die von einem Snowpark-optimierten Warehouse bereitgestellten Computeressourcen nutzen kann, um skalierbare Datentransformationen durchzuführen.

Snowpark ML-Operationen¶

Snowpark ML-Operationen (MLOps) mit der Snowpark ML Model Registry ergänzen die Snowpark ML Development-API. Die Modell-Registry ermöglicht die sichere Bereitstellung und Verwaltung von Modellen in Snowflake und unterstützt Modelle, die sowohl innerhalb als auch außerhalb von Snowflake trainiert wurden.

Snowpark ML Data Access¶

Snowpark ML Data Access bietet einfache und leistungsfähige Möglichkeiten, Daten in Ihre Machine-Learning-Modelle einzuspeisen.

• Die FileSet-API bietet eine Python fsspec-konforme API für die Materialisierung von Daten in einem Snowflake-internen Stagingbereich über eine Abfrage oder aus einem Snowpark-DataFrame. Außerdem bietet sie praktische Methoden für die Verarbeitung dieser Daten und deren Bereitstellung für PyTorch oder TensorFlow.

• Ein Satz von Framework-Konnektoren ermöglicht eine optimierte, sichere und leistungsfähige Datenbereitstellung für Pytorch- und Tensorflow-Frameworks in deren nativen Datenladeformaten.

Installation von Snowpark ML aus dem Snowflake-Conda-Kanal¶

1. Erstellen Sie die Conda-Umgebung, in der Sie Snowpark ML installieren werden: Wenn Sie es vorziehen, eine bestehende Umgebung zu verwenden, überspringen Sie diesen Schritt.

   conda create --name snowpark-ml
   

   Copy

2. Aktivieren Sie die Conda-Umgebung:

   conda activate snowpark-ml
   

   Copy

3. Installieren Sie Snowpark ML aus dem Snowflake-Conda-Kanal:

   conda install --override-channels --channel https://repo.anaconda.com/pkgs/snowflake/ snowflake-ml-python
   

   Copy

Installieren von Snowpark ML über PyPI¶

Sie können das Snowpark ML-Paket über Python Package Index (PyPI) mithilfe des Standard-Python-Paketmanagers pip installieren.

1. Wechseln Sie in Ihr Projektverzeichnis, und aktivieren Sie Ihre virtuelle Python-Umgebung:

   cd ~/projects/ml
   source .venv/bin/activate
   

   Copy

2. Installieren Sie das Snowpark ML-Paket:

   python -m pip install snowflake-ml-python
   

   Copy

Installieren von optionalen Modellierungsabhängigkeiten¶

Einige Snowpark ML Modeling-APIs erfordern Abhängigkeiten, die nicht als Abhängigkeiten von Snowpark ML installiert sind. Die Pakete scikit-learn und xgboost werden standardmäßig bei der Installation von Snowpark ML Modeling mitinstalliert, wohingegen lightgbm eine optionale Abhängigkeit ist. Wenn Sie Klassen im snowflake.ml.modeling.lightgbm-Namespace verwenden möchten, müssen Sie lightgbm selbst installieren.

Verwenden Sie die folgenden Befehle, um Ihre conda-Umgebung zu aktivieren und lightgbm aus dem Snowflake-Conda-Kanal zu installieren.

conda activate snowpark-ml
conda install --override-channels --channel https://repo.anaconda.com/pkgs/snowflake/ lightgbm

Verwenden Sie die folgenden Befehle, um Ihre virtuelle Umgebung zu aktivieren und lightgbm mit pip zu installieren.

.venv/bin/activate
python -m pip install 'snowflake-ml-python[lightgbm]'

Snowflake kann von Zeit zu Zeit zusätzliche optionale Abhängigkeiten zu Snowpark ML hinzufügen. So installieren Sie alle optionalen Abhängigkeiten mit pip:

.venv/bin/activate
python -m pip install 'snowflake-ml-python[all]'

Einrichten von Snowpark Python¶

Snowpark Python ist eine Abhängigkeit von Snowpark ML und wird automatisch installiert, wenn Sie Snowpark ML installieren. Wenn Snowpark Python nicht auf Ihrem System eingerichtet ist, müssen Sie möglicherweise zusätzliche Konfigurationsschritte ausführen. Unter Einrichten Ihrer Entwicklungsumgebung für Snowpark Python finden Sie eine Anleitung zum Einrichten von Snowpark Python.

Angeben eines Warehouses¶

Viele Teile von Snowpark ML, z. B. das Trainieren eines Modells oder das Ausführen von Inferenzen, führen Code in einem Snowflake-Warehouse aus. Diese Operationen werden in dem Warehouse ausgeführt, das von der Sitzung vorgegeben wird, die Sie für die Verbindung verwenden. Wenn Sie beispielsweise eine Sitzung aus einer benannten Verbindung Ihrer SnowSQL-Konfigurationsdatei erstellen, können Sie ein Warehouse mit dem Parameter warehousename in der benannten Konfiguration angeben.

Sie können die Warehouse-Einstellung beim Erstellen des Session-Objekts hinzufügen, wie hier gezeigt, wenn es noch nicht in der Konfiguration vorhanden ist.

from snowflake.snowpark import Session
from snowflake.ml.utils import connection_params
# Get named connection from SnowQSL configuration file
params = connection_params.SnowflakeLoginOptions("myaccount")
# Add warehouse name for model method calls if it's not already present
if "warehouse" not in params:
    params["warehouse"] = "mlwarehouse"
sp_session = Session.builder.configs(params).create()

Wenn in der Sitzung kein Warehouse angegeben ist oder wenn Sie ein anderes Warehouse verwenden möchten, rufen Sie die Methode use_warehouse der Sitzung auf.

sp_session.use_warehouse("mlwarehouse")