29 mars 2024 — Notes de version de Data Quality Monitoring¶

Data Quality Monitoring et fonctions de métrique des données — Avant-première¶

Avec cette version, Snowflake a le plaisir d’annoncer en avant-première Data Quality Monitoring avec des fonctions de métrique des données (DMFs). Data Quality Monitoring utilise des DMFs pour surveiller en permanence les métriques de qualité des données tels que l’exhaustivité, l’exactitude, l’unicité et la validité. Vous pouvez utiliser les DMFs système fournies par Snowflake pour les métriques courantes telles que le nombre de lignes, les doublons et le niveau d’actualisation. Vous pouvez également créer vos propres DMFs pour définir des métriques spécifiques à vos données.

Vous pouvez soit utiliser la DMF dans une requête pour tester la qualité des données dans votre pipeline, soit associer la DMF aux tables souhaitées pour surveiller en permanence leur qualité. La surveillance continue peut être basée sur une planification pour des mesures périodiques ou sur des déclencheurs pour des mesures uniquement lorsque la table sous-jacente est modifiée. Les résultats de DMF sont enregistrés dans une table d’événements centralisée dans votre compte Snowflake afin de protéger la confidentialité de vos données. Vous pouvez créer des tableaux de bord, configurer des alertes ou effectuer des requêtes sur les résultats des métriques directement à partir de la table des événements. En outre, les données de la table d’événements sont au format OpenTelemetry standard pour faciliter l’intégration des données dans les outils d’observabilité.

Pour plus de détails, voir Introduction à la qualité des données et aux fonctions de métrique des données.