Snowflake ML : machine learning de bout en bout¶
Snowflake ML est un ensemble intégré de capacités pour le machine learning de bout en bout dans une plateforme unique au-dessus de vos données gouvernées.
Pour les flux de travail ML directs en SQL, les fonctions ML prêtes à l’emploi peuvent aider à réduire le temps de développement et à démocratiser le ML au sein de votre organisation. Ces fonctions vous permettent d’entraîner des modèles pour des cas d’utilisation métier tels que la prévision et la détection d’anomalies sans écrire de code.
Pour des workflows de ML personnalisés en Python, les scientifiques des données et les ingénieurs de ML peuvent facilement et en toute sécurité développer et mettre en production des fonctions et des modèles évolutifs sans aucun mouvement de données, silos ou compromis de gouvernance. La bibliothèque snowflake-ml-python fournit des APIs pour développer et déployer vos pipelines de ML Snowflake.
Pour construire et opérationnaliser des modèles, les data scientists et les ingénieurs de ML peuvent exploiter une suite de fonctionnalités de ML Snowflake. Pour le développement du modèle, les APIs Snowflake ML Modeling offrent un chargement de données évolutif, une ingénierie des fonctionnalités et un entraînement de modèles avec un traitement distribué à l’aide de CPUs ou de GPUs. Pour les opérations de ML (ML Ops), Snowflake ML comprend un Feature Store et un registre de modèles pour une gestion centralisée des fonctions et des modèles en production.
Vous pouvez utiliser des APIs Python de la bibliothèque Snowpark ML dans Snowflake Notebooks, les feuilles de calcul Snowsight. ou l’IDE Python local de votre choix.
Les composants de ML Snowflake permettent de rationaliser le cycle de vie de ML, comme le montre l’illustration ci-dessous.
Registre des modèles de Snowflake¶
Snowflake Model Registry permet un déploiement et une gestion sécurisés des modèles dans Snowflake, et prend en charge les modèles entraînés à l’intérieur et à l’extérieur de Snowflake.
Snowflake Feature Store¶
Le Snowflake Feature Store est une solution intégrée pour définir, gérer, stocker et découvrir des fonctions de ML dérivées de vos données. Snowflake Feature Store prend en charge l’actualisation automatisée et incrémentielle à partir de sources de données par lots et en continu, de sorte que les pipelines de fonctions n’ont besoin d’être définis qu’une seule fois pour être continuellement mis à jour avec de nouvelles données.
Ensembles de données Snowflake¶
Les ensembles de données Snowflake fournissent un instantané immuable et versionné de vos données pouvant être ingéré par vos modèles de machine learning.
Snowflake Notebooks¶
Snowflake Notebooks offre une expérience familière, similaire aux Notebooks Jupyter, pour fonctionner avec Python dans Snowflake. Ils sont idéaux pour la construction sur mesure des flux de travail et des modèles de ML utilisant des outils que vous savez déjà utiliser. Les Notebooks fonctionnant sur Snowpark Container Services (SPCS) s’exécutent sur Container Runtime pour ML, un environnement spécialement conçu pour les flux de travail de machine learning.
Container Runtime pour ML¶
Fonctionnalité en avant-première — Ouvrir
Disponible pour tous les comptes.
Snowflake propose un environnement préconfiguré et personnalisable conçu pour une variété de charges de travail de développement de ML. Avec un ensemble complet de paquets et de frameworks MLpré-installés qui peuvent être facilement étendus, les data scientists et les ingénieurs de ML peuvent exploiter le meilleur de l’open source directement sur leurs données Snowflake.
Avec un accès facile aux GPUs sous la forme de pools de calcul Snowpark Container Service (SPCS), la flexibilité d’utiliser n’importe quel paquet open source et des APIs de chargement et de modélisation de données distribuées, Container Runtime pour ML est bien adapté au développement de projets de ML à grande échelle. Étant donné que ces Notebooks fonctionnent sur Snowpark Container Services, ils fournissent une infrastructure de calcul flexible et évolutive optimisée en termes de rapport prix/performances.
Pour plus d’informations, voir Notebooks sur Container Runtime pour ML et Container Runtime pour ML.
Bibliothèque Snowflake ML¶
Le paquet snowflake-ml-python Python fournit des APIs Python pour les différents composants de flux de travail de ML Snowflake, y compris le Snowflake Feature Store, le Snowflake Model Registry et les objets de données versionnés du Dataset. Il comprend également des APIs, basées sur les bibliothèques de ML Python connues telles que scikit-learn, pour créer et entraîner vos propres modèles à grande échelle entièrement dans le cloud Snowflake. Vous pouvez utiliser les fonctionnalités de ML Snowflake dans votre environnement de développement Python local, dans les feuilles de calcul Snowsight ou dans les Notebooks Snowflake.
Astuce
Voir Introduction au machine learning pour un exemple de workflow de ML Snowflake de bout en bout.
ML Modeling¶
Le paquet snowflake-ml-python Python inclut aussi des APIs ML Modeling, qui prennent en charge le prétraitement des données, l’ingénierie des fonctions et l’entraînement des modèles dans Snowflake à l’aide des frameworks de machine learning les plus courants, tels que scikit-learn, xgboost, lightgbm et pytorch. Tous les traitements sont effectués sans nécessiter de configuration d’infrastructure ou de déplacement de données.
Lorsqu’elles sont exécutées à partir d’un ordinateur portable sur Container Runtime pour ML, ces APIs de modélisation peuvent être distribuées sur tous les cœurs de CPU ou GPUs, en fonction du pool de calcul que vous utilisez. Dans d’autres cas, le processus est exécuté dans un entrepôt virtuel Snowflake, où le prétraitement et l’optimisation des hyperparamètres peuvent être effectués de manière distribuée sur plusieurs nœuds.
Note
Container Runtime pour ML est actuellement en avant-première privée.
Ressources supplémentaires¶
Consultez les ressources suivantes pour obtenir des informations sur les APIs Snowflake ML.
Workflows ML de bout en bout
Contactez votre représentant Snowflake pour un accès anticipé à la documentation sur les autres fonctionnalités en cours de développement.