Snowflake Feature Store¶

Le Snowflake Feature Store permet aux scientifiques des données et aux ingénieurs de ML de créer, maintenir et utiliser des caractéristiques de ML de la science des données et des charges de travail de ML, le tout dans Snowflake.

De manière générale, les caractéristiques sont des éléments de données utilisés comme entrées dans un modèle de machine learning. De nombreuses colonnes d’un ensemble de données, telles que la température ou la présence, peuvent être utilisées telles quelles comme caractéristiques. Dans d’autres cas, une colonne peut être rendue plus utile pour l’entraînement via le prétraitement et la transformation. Par exemple, vous pouvez dériver une caractéristique de jour de la semaine à partir d’un horodatage pour permettre au modèle de détecter des modèles hebdomadaires. D’autres transformations de caractéristiques courantes impliquent l’agrégation, la différenciation ou le décalage temporel des données. L”ingénierie des caractéristiques est le processus qui consiste à décider des caractéristiques nécessaires à vos modèles et à définir la manière dont elles seront dérivées des données brutes.

Un Feature Store vous permet de standardiser les transformations de caractéristiques couramment utilisées dans un référentiel central, permettant ainsi la réutilisation, contribuant à réduire la duplication des données et des efforts et améliorant la productivité. Il permet également de maintenir les caractéristiques en les mettant à jour sur de nouvelles données sources, en fournissant toujours des caractéristiques correctes, cohérentes et récentes dans une source unique de vérité. En cultivant la cohérence dans la façon dont les caractéristiques sont extraites des données brutes, un Feature Store peut également vous aider à améliorer vos pipeplines ML de production plus robustes.

Snowflake Feature Store est conçu pour faciliter la création, le stockage et la gestion des fonctionnalités pour les charges de travail de science des données et de machine learning. Hébergé nativement dans Snowflake, le Snowflake Feature Store offre les avantages suivants :

• Vos données restent sécurisées, entièrement sous votre contrôle et votre gouvernance, et ne quittent jamais Snowflake.

• L’UI de Snowsight Feature Store facilite la recherche et la découverte de caractéristiques.

• L’accès est géré avec précision avec le contrôle d’accès basé sur les rôles.

Les principaux avantages du Snowflake Feature Store incluent la prise en charge des points suivants :

• Données par lots et en streaming, avec des mises à jour automatiques efficaces à mesure que de nouvelles données arrivent

• Remplissez et corrigez les caractéristiquess à un moment précis avec ASOF JOIN

• Transformations de caractéristiques créées en Python ou SQL

• Mise à jour et actualisation automatiques des valeurs des caractéristiques à partir des données sources avec les vues de caractéristiques gérées par Snowflake

• Possibilité d’utiliser des pipelines de caractéristiques gérés par l’utilisateur avec des outils externes tels que dbt

Le Snowflake Feature Store est entièrement intégré au Snowflake Model Registry et d’autres fonctionnalités de ML Snowflake pour un ML de production de bout en bout.

L’illustration suivante montre comment le Snowflake Feature Store s’intègre dans un pipeline de machine learning :

• Les données brutes peuvent être obtenues par lots à partir de tables ou de vues ou à partir de sources de données en streaming.

• Les données brutes sont ensuite transformées par des fonctionnalités définies par les ingénieurs de données, ce qui donne lieu à une table des fonctionnalités.

• La table des fonctionnalités peut être utilisée pour générer des ensembles de données d’entraînement utilisés pour les modèles d’entraînement dans Snowpark ML, ou pour enrichir les données de test utilisées par le modèle pour faire des prédictions.