Créer et proposer des fonctionnalités en ligne¶

Niveau d’actualisation des données¶

Une vue des fonctionnalités avec mise à disposition de fonctionnalités en ligne synchronise automatiquement les données du magasin hors ligne.

Utilisez le paramètre target_lag pour configurer la fréquence de synchronisation des données vers votre table des fonctionnalités en ligne. Vous pouvez définir cette valeur entre 10 secondes minimum et 8 jours maximum.

Modes d’actualisation¶

Snowflake utilise les modes d’actualisation suivants pour mettre à jour les données :

• Actualisation incrémentielle : Il s’agit du mode privilégié et le plus efficace. Snowflake suit les modifications apportées aux sources et fusionne uniquement les lignes nouvelles ou mises à jour dans le magasin en ligne. Cela réduit les coûts de calcul et d’E/S.

• Actualisation complète : Ce mode détruit toutes les données existantes dans la table et recharge tout à partir de la source. Il consomme plus de ressources et est utilisé lorsqu’une actualisation incrémentielle n’est pas possible.

Vous pouvez explicitement définir le mode d’actualisation sur INCREMENTAL ou FULL, ou bien le définir sur AUTO pour permettre à Snowflake de déterminer le mode d’actualisation disponible le plus efficace.

Traitement des données de séries chronologiques¶

Pour assurer la cohérence des données, vous pouvez spécifier une timestamp_col. Lorsque plusieurs lignes avec la même clé primaire sont trouvées dans la source, Snowflake n’ingère que la version avec l’horodatage le plus récent. Si vous ne spécifiez pas de colonne d’horodatage, la ligne la plus récemment traitée est prioritaire.

GRANT CREATE ONLINE FEATURE TABLE ON SCHEMA IDENTIFIER($SCHEMA_FQN) TO ROLE IDENTIFIER($FS_ROLE_PRODUCER);

GRANT SELECT, MONITOR ON FUTURE ONLINE FEATURE TABLES IN SCHEMA IDENTIFIER($SCHEMA_FQN) TO ROLE IDENTIFIER($FS_ROLE_CONSUMER);

GRANT SELECT, MONITOR ON ALL ONLINE FEATURE TABLES IN SCHEMA IDENTIFIER($SCHEMA_FQN) TO ROLE IDENTIFIER($FS_ROLE_CONSUMER);

from snowflake.ml.feature_store import FeatureView
from snowflake.ml.feature_store.feature_view import OnlineConfig

online_config = OnlineConfig(enable=True, target_lag="30 seconds")

fv = FeatureView(
    name="MY_FV",
    entities=[entity],
    feature_df=my_df, # Snowpark DataFrame containing feature transformations
    timestamp_col="ts", # optional timestamp column name in the dataframe
    refresh_freq="5 minutes",
    refresh_mode="AUTO", # refresh mode of the feature data
    desc="my feature view", # optional description
    online_config=online_config
)

fv = fs.register_feature_view(feature_view=fv, version="v1")

Mettre à jour une vue des fonctionnalités pour activer/désactiver la mise à disposition de fonctionnalités en ligne¶

Pour les vues de fonctionnalités existantes, vous pouvez mettre à jour la configuration de la mise à disposition de fonctionnalités en ligne à l’aide de la méthode update_feature_view. Vous pouvez utiliser cette méthode pour activer la mise à disposition de fonctionnalités en ligne pour les vues de fonctionnalités existantes.

Utilisez le code suivant pour activer la mise à disposition de fonctionnalités en ligne.

# Enable online feature serving

fs.update_feature_view(
    name="<name>",
    version="<version>",
    online_config=OnlineConfig(enable=True, target_lag="5 minutes")
)

Utilisez le code suivant pour désactiver la mise à disposition de fonctionnalités en ligne.

# Disable online feature serving

fs.update_feature_view(
    name="<name>",
    version="<version>",
    online_config=OnlineConfig(enable=False)
)

Récupérer des fonctionnalités à partir d’un stockage en ligne¶

Pour récupérer les valeurs de fonctionnalités à partir d’un stockage en ligne pour un échantillon donné, utilisez la méthode read_feature_view et transmettez la liste des noms des fonctionnalités ainsi que les clés de jointure de l’échantillon :

fs.read_feature_view(
    feature_view=fv,
    keys=[["<k_1>", "<k_2>"]],
    feature_names=["<feature1>", "<feature2>", "<feature3>"],
    store_type=StoreType.ONLINE
)

Suspendre/reprendre l’actualisation des données en ligne¶

Utilisez le code suivant pour suspendre temporairement l’actualisation des données.

fs.suspend_feature_view(feature_view=fv)

Utilisez le code suivant pour reprendre l’actualisation des données.

fs.resume_feature_view(feature_view=fv)

Ces opérations suspendent/reprennent à la fois la vue des fonctionnalités hors ligne (table dynamique et tâche associée) et la table des fonctionnalités en ligne (si elle existe), afin de garantir un état cohérent entre tous les types de stockage.

Actualiser manuellement la vue des fonctionnalités¶

fs.refresh_feature_view(
    feature_view=fv,
    store_type=<store_type>
)

L’argument store_type spécifie s’il faut actualiser les données des fonctionnalités hors ligne (StoreType.OFFLINE) ou en ligne (StoreType.ONLINE).

Afficher l’historique d’actualisation¶

fs.get_refresh_history(
    feature_view=fv,
    store_type=store_type
)

L’argument store_type spécifie s’il faut renvoyer l’historique d’actualisation du magasin hors ligne (StoreType.OFFLINE) ou en ligne (StoreType.ONLINE).

Surveiller les coûts¶

Pour surveiller les coûts, utilisez ces vues :

-- Hybrid table request credits
SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.HYBRID_TABLE_USAGE_HISTORY;

-- Storage consumption
SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.STORAGE_USAGE;
SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.DATABASE_STORAGE_USAGE_HISTORY;

-- Overall costs
SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.METERING_HISTORY;