Journaux d’inférence de capture automatique pour l’inférence en temps réel¶

Utiliser la capture automatique dans Snowflake ML pour enregistrer automatiquement chaque demande et réponse traitées par un service de modèle. La capture automatique offre une visibilité immédiate sur les demandes qui ont réussi, les demandes qui ont échoué et les entrées derrière des prédictions inattendues.

Au lieu de canaliser les données de demande ou de réponse dans une table ou une vue, vous pouvez automatiquement rendre persistants les données de demande et de réponse d’inférence. Au lieu de devoir créer correctement des pipelines pour l’ingestion et la surveillance des données, vous pouvez utiliser la capture automatique.

Avec la capture automatique, vous pouvez effectuer les opérations suivantes :

• Débogage rapide : Analysez les données d’inférence historiques pour diagnostiquer les cas limites et comprendre le comportement des modèles.

• Améliorez en continu vos modèles : Utilisez des données de production réelles pour créer des ensembles de données de haute qualité afin d’entraîner de nouveaux modèles.

• Test : Utilisez les données collectées à partir des journaux pour les tests A/B et les tests en parallèle.

Pour chaque demande d’inférence, la capture automatique enregistre ce qui suit :

• Charge utile de la demande

• Charge utile de la réponse

• Identificateur de la version du modèle

• Identificateur du service

• Métadonnées de routage de passerelle

• Horodatages des demandes et des réponses

• Code de réponse (tel que 200).

Ces données sont en lecture seule et ne peuvent pas être modifiées par les utilisateurs.

Snowflake capture uniquement les données de réponse des demandes qui ont réussi. Si une demande échoue, Snowflake ne capture aucune donnée.

Conditions préalables et compatibilité des versions du modèle¶

Les sections suivantes décrivent les conditions préalables et la compatibilité des versions de modèles pour la capture automatique.

CREATE [ OR REPLACE ] MODEL [ IF NOT EXISTS ] <name> [ WITH VERSION <version_name> ]
FROM MODEL <source_model_name> [ VERSION <source_version_or_alias_name> ]

Activer la capture automatique¶

Après avoir créé un nouveau modèle ou cloné un modèle existant, activez la capture automatique pour le service de modèle à l’aide du SDK Python. Pour plus d’informations sur le service de modèle, voir Déployer des modèles pour l’inférence en temps réel (REST API).

Utilisez le code Python suivant pour activer la capture automatique :

mv.create_service(
    service_name="my_service",
    service_compute_pool="my_compute_pool",
    autocapture=True
)

La variable mv est l’objet de la version du modèle. Vous l’avez définie lorsque vous avez connecté le modèle au registre des modèles.

La valeur par défaut pour la capture automatique est False. Assurez-vous d’activer la capture automatique pour un modèle que vous avez créé après le 23 janvier 2026 et connecté au registre des modèles. Sinon, la création du service échoue, car le modèle ne dispose pas d’une table d’inférence.

Interroger les données d’inférence¶

Pour accéder à vos journaux, utilisez la fonction INFERENCE_TABLE. Cette fonction renvoie les journaux d’inférence pour un modèle et prend en charge le filtrage par version, service et passerelle. Seuls les propriétaires du modèle peuvent voir les données lorsqu’ils disposent de privilèges USAGE sur la passerelle et le service.

-- Fetch all inference logs for a specific model
SELECT * FROM TABLE(INFERENCE_TABLE('my_model'));

SELECT * FROM TABLE(
INFERENCE_TABLE(
'MY_MODEL',
VERSION => 'V1',
SERVICE => 'MY_PREDICTION_SERVICE',
GATEWAY => 'MY_GATEWAY'
)
);

WHERE RECORD_ATTRIBUTES:"snow.model_serving.function.name" = 'predict'

SELECT *
FROM TABLE(
  INFERENCE_TABLE('my_model')
);

SELECT *
FROM TABLE(
  INFERENCE_TABLE(
    'my_model',
    MODEL_VERSION => 'v1'
  )
);

SELECT *
FROM TABLE(
  INFERENCE_TABLE(
    'my_model',
    MODEL_VERSION => 'v1',
    SERVICE => 'my_service'
  )
);

SELECT *
FROM TABLE(
  INFERENCE_TABLE(
    'my_model',
    MODEL_VERSION => 'v1',
    GATEWAY => 'my_gateway'
  )
);

Schéma de données et métadonnées¶

Snowflake capture uniquement les données de réponse des demandes qui ont réussi. Si une demande échoue, Snowflake ne capture aucune donnée.

Les attributs d’enregistrement qui sont capturés sont les suivants :

Logique de troncation des données¶

Pour maintenir les performances du système, il existe un 1 limite de MB pour chaque événement d’inférence. Si la demande et la réponse atteignent la limite, Snowflake applique un processus de troncation en plusieurs zones de préparation pour préserver autant d’utilité que possible.

Le tableau suivant illustre le processus de troncation :

*La zone de préparation 3 se produit si les métadonnées seules dépassent le seuil après la réduction du contenu.

Limits¶

Gardez à l’esprit les limitations et considérations suivantes lorsque vous utilisez la capture automatique :

• Prise en charge de LLM La capture automatique n’est pas prise en charge pour les grands modèles de langage (LLMs).

• Débit : La capture automatique est conçue pour un débit système d’environ 300-400 demandes par seconde (ou 10MB/s) par service.

• Réplication : Vous ne pouvez pas répliquer les tables d’inférence. Les modèles répliqués n’auront pas de tables d’inférence dans le compte cible.

• Conservation : Les données d’inférence persistent même si le service ou la passerelle est supprimé.

• Avertissement : La suppression de l’objet Modèle supprimera définitivement toutes les données d’inférence associées.

• Réalité de terrain : Pour effectuer une analyse de migration, maintenez une table de réalité de terrain séparée et joignez-la à la sortie INFERENCE_TABLE en utilisant des IDs de demande communs.

• Comptes des consommateurs : Les comptes des consommateurs ne peuvent pas créer un service lorsque la capture automatique est activée pour les modèles partagés avec des tables d’inférence.

• Performance : La capture automatique est conçue pour ne pas ajouter de latence aux demandes d’inférence. Cependant, certaines captures peuvent être supprimées pendant les périodes de volume de demandes extrêmement élevé.

Schéma¶

Dans le cadre de cette fonction, les valeurs suivantes sont ajoutées aux colonnes respectives.