Snowpark ML : machine learning de bout en bout dans Snowflake¶

Snowpark ML Modeling¶

Snowpark ML Modeling prend en charge le prétraitement des données, l’ingénierie des fonctions et l’entraînement des modèles dans Snowflake à l’aide des cadres de machine learning les plus courants, tels que scikit-learn, xgboost et lightgbm. Cette API comprend également un module de prétraitement qui peut utiliser les ressources de calcul fournies par un entrepôt optimisé par Snowpark pour fournir des transformations de données évolutives.

Snowpark ML Operations¶

Snowpark ML Operations (MLOps), présentant le registre des modèles de Snowpark ML, complète l’API de développement Snowpark ML. Le registre des modèles permet un déploiement et une gestion sécurisés des modèles dans Snowflake, et prend en charge les modèles formés à l’intérieur et à l’extérieur de Snowflake.

Snowpark ML Data Access¶

Snowpark ML Data Access fournit des moyens simples et performants pour alimenter en données vos modèles de machine learning.

• L’API FileSet fournit une API compatible Python fsspec pour matérialiser les données dans une zone de préparation interne de Snowflake à partir d’une requête ou d’un DataFrame Snowpark. Elle fournit également des méthodes pratiques pour travailler avec les données et les transmettre à PyTorch ou TensorFlow.

• Un ensemble à venir de connecteurs de frameworks fournissent un approvisionnement en données optimisé, sécurisé et performant pour les frameworks Pytorch et Tensorflow dans leurs formats de chargeur de données natifs.

Installation de Snowpark ML à partir du canal conda Snowflake¶

1. Créez l’environnement conda dans lequel vous installerez Snowpark ML : Si vous préférez utiliser un environnement existant, ignorez cette étape.

   conda create --name snowpark-ml
   

   Copy

2. Activez l’environnement conda :

   conda activate snowpark-ml
   

   Copy

3. Installez Snowpark ML depuis le canal conda Snowflake :

   conda install --override-channels --channel https://repo.anaconda.com/pkgs/snowflake/ snowflake-ml-python
   

   Copy

Installation de Snowpark ML à partir de PyPI¶

Vous pouvez installer le paquet Snowpark ML à partir de l’index des paquets Python (PyPI) en utilisant le gestionnaire de paquets Python standard, pip.

1. Allez dans le répertoire de votre projet et activez votre environnement virtuel Python :

   cd ~/projects/ml
   source .venv/bin/activate
   

   Copy

2. Installez le paquet Snowpark ML.

   python -m pip install snowflake-ml-python
   

   Copy

Installation de dépendances de modélisation en option¶

Certaines APIs Snowpark ML Modeling nécessitent des dépendances qui ne sont pas installées comme des dépendances de Snowpark ML. Les paquets scikit-learn et xgboost sont installés par défaut lors de l’installation de Snowpark ML Modeling, mais lightgbm est une dépendance en option. Si vous prévoyez d’utiliser des classes dans l’espace de noms snowflake.ml.modeling.lightgbm, installez vous-même lightgbm.

Utilisez les commandes suivantes pour activer votre environnement conda et installer lightgbm depuis le canal conda Snowflake.

conda activate snowpark-ml
conda install --override-channels --channel https://repo.anaconda.com/pkgs/snowflake/ lightgbm

Utilisez les commandes suivantes pour activer votre environnement virtuel et installer lightgbm à l’aide de pip.

.venv/bin/activate
python -m pip install 'snowflake-ml-python[lightgbm]'

Snowflake peut ajouter des dépendances en option supplémentaires à Snowpark ML, de temps en temps. Pour installer toutes les dépendances en option à l’aide de pip :

.venv/bin/activate
python -m pip install 'snowflake-ml-python[all]'

Mise en place de Snowpark Python¶

Snowpark Python est une dépendance de Snowpark ML et est installé automatiquement avec Snowpark ML. Si Snowpark Python n’est pas installé sur votre système, il se peut que vous deviez effectuer des étapes de configuration supplémentaires. Voir Configuration de votre environnement de développement pour Snowpark Python pour les instructions d’installation de Snowpark Python.

Spécification d’un entrepôt.¶

De nombreuses parties de Snowpark ML, par exemple l’entraînement d’un modèle ou l’exécution d’une inférence, exécutent du code dans un entrepôt Snowflake. Ces opérations sont exécutées dans l’entrepôt spécifié par la session que vous utilisez pour vous connecter. Par exemple, si vous créez une session à partir d’une connexion nommée dans votre fichier de configuration SnowSQL, vous pouvez spécifier un entrepôt en utilisant le paramètre warehousename dans la configuration nommée.

Vous pouvez ajouter le paramètre d’entrepôt lors de la création de l’objet Session comme indiqué ici, s’il n’existe pas déjà dans la configuration.

from snowflake.snowpark import Session
from snowflake.ml.utils import connection_params
# Get named connection from SnowQSL configuration file
params = connection_params.SnowflakeLoginOptions("myaccount")
# Add warehouse name for model method calls if it's not already present
if "warehouse" not in params:
    params["warehouse"] = "mlwarehouse"
sp_session = Session.builder.configs(params).create()

Si aucun entrepôt n’est spécifié dans la session ou si vous souhaitez utiliser un autre entrepôt, appelez la méthode use_warehouse de la session.

sp_session.use_warehouse("mlwarehouse")