Contrôler la qualité des données d’un schéma¶

Ajouter une DMF à un schéma¶

Lorsque vous associez une DMF à un schéma, tous les objets à l’intérieur du schéma sont associés à la DMF.

ALTER SCHEMA <name>
  ADD DATA METRIC FUNCTION { SNOWFLAKE.CORE.ROW_COUNT | SNOWFLAKE.CORE.FRESHNESS } ON ()
    [ ANOMALY_DETECTION = { TRUE | FALSE } ]
    [ EXCLUDE_TABLE_TYPES = ( '<object_type>' [ , '<object_type>' ... ] ) ]

ALTER SCHEMA my_schema
  ADD DATA METRIC FUNCTION SNOWFLAKE.CORE.FRESHNESS ON ();

ALTER SCHEMA my_schema
  ADD DATA METRIC FUNCTION SNOWFLAKE.CORE.ROW_COUNT ON ()
    ANOMALY_DETECTION = TRUE;

ALTER SCHEMA my_schema
  ADD DATA METRIC FUNCTION SNOWFLAKE.CORE.ROW_COUNT ON ()
    EXCLUDE_TABLE_TYPES=('VIEW', 'MATERIALIZED_VIEW');

Remplacement des paramètres au niveau de l’objet¶

Lorsque vous ajoutez une DMF au niveau du schéma, Snowflake crée une association au niveau de l’objet entre chaque objet dans le schéma et la DMF. Vous pouvez remplacer cette association au niveau de l’objet si vous voulez modifier la façon dont la DMF s’exécute sur l’objet.

Supposons que vous ayez activé la détection des anomalies lorsque vous avez ajouté la DMF ROW_COUNT à my_schema. Si vous ne voulez pas que Snowflake détecte les anomalies dans la table my_schema.employees, alors exécutez la commande suivante :

ALTER TABLE employees
  MODIFY DATA METRIC FUNCTION SNOWFLAKE.CORE.ROW_COUNT ON ()
    SET ANOMALY_DETECTION = FALSE;

Vous pouvez également supprimer l’association d’un objet spécifique si vous voulez arrêter l’exécution de la DMF. Par exemple, si vous voulez que la DMF ROW_COUNT arrête de s’exécuter sur la table my_schema.employees, exécutez la commande suivante :

ALTER TABLE employees
  DROP DATA METRIC FUNCTION SNOWFLAKE.CORE.ROW_COUNT ON ();

Vous pouvez également remplacer la planification au niveau du schéma pour modifier la fréquence à laquelle une DMF s’exécute pour un objet particulier. Pour plus d’informations sur le paramétrage de la planification au niveau de l’objet, consultez Ajuster la planification pour les DMFs.

Ajustement de la planification d’exécution¶

Par défaut, la planification de la métrique des données pour un schéma est de 60 minutes ; la DMF s’exécute sur chaque objet du schéma toutes les heures. Vous pouvez modifier cette valeur par défaut au niveau du schéma ou la remplacer au niveau de l’objet.

Utilisez la commande suivante pour contrôler la fréquence à laquelle les DMFs s’exécutent sur des objets d’un schéma :

ALTER SCHEMA <name> SET DATA_METRIC_SCHEDULE = '<schedule>';

Les valeurs possibles pour schedule sont les mêmes au niveau du schéma qu’au niveau de l’objet. Pour afficher les valeurs possibles, consultez ALTER TABLE …SET DATA_METRIC_SCHEDULE.

La planification que vous définissez au niveau du schéma contrôle la fréquence à laquelle la DMF s’exécute sur chaque objet, sauf si vous le remplacez pour des tables ou des vues spécifiques. Pour plus d’informations sur le paramétrage de la planification au niveau de l’objet, consultez Ajuster la planification pour les DMFs.

Suspension de DMFs¶

La syntaxe pour suspendre et reprendre une DMF associée au niveau du schéma est la même que la syntaxe pour les associations au niveau de la table. Par exemple, pour suspendre la DMF ROW_COUNT qui est associée au schéma my_schema, exécutez la commande suivante :

ALTER SCHEMA my_schema
  MODIFY DATA METRIC FUNCTION SNOWFLAKE.CORE.ROW_COUNT ON ()
    SUSPEND;

Détermination des associations définies au niveau du schéma¶

Vous pouvez utiliser la vue et la fonction suivantes pour déterminer quels objets sont associés à une DMF :

• Vue DATA_QUALITY_MONITORING_RESULTS dans le schéma ACCOUNT_USAGE.

• Fonction de table DATA_QUALITY_MONITORING_RESULTS.

La vue et la sortie de la fonction contiennent une colonne level, qui possède les valeurs possibles suivantes :

• TABLE : quelqu’un a associé directement la DMF à l’objet.

• SCHEMA : quelqu’un a ajouté directement la DMF au schéma, ce qui a créé l’association entre l’objet et la DMF.

Suivi des associations au niveau du schéma¶

Vous pouvez appeler la fonction DATA_METRIC_FUNCTION_REFERENCES pour déterminer quelles DMFs ont été ajoutées à un schéma. Par exemple, pour voir quelles DMFs ont été ajoutées au schéma db1.my_schema, exécutez la commande suivante :

SELECT *
  FROM TABLE(
    INFORMATION_SCHEMA.DATA_METRIC_FUNCTION_REFERENCES(
      REF_ENTITY_NAME => 'db1.my_schema',
      REF_ENTITY_DOMAIN => 'schema'
    )
  );

Exigences en matière de contrôle d’accès¶

Pour ajouter une DMF à un schéma, vous devez disposer des privilèges de contrôle d’accès et des rôles suivants :

• OWNERSHIP sur le schéma.

• MANAGE DATA QUALITY sur le compte.

• EXECUTE DATA METRIC FUNCTION sur le compte.

• Rôle de base de données SNOWFLAKE.DATA_METRIC_USER

Snowflake n’exécutera pas la DMF à moins que le propriétaire du schéma ne conserve le privilège MANAGE DATA QUALITY sur le compte.

Pour exécuter correctement la DMF sur un objet du schéma, le propriétaire de l’objet doit disposer des mêmes privilèges que ceux requis pour associer la DMF à cet objet. Pour obtenir la liste de ces privilèges, consultez Exigences en matière de contrôle d’accès.

Considérations et limites¶

• La DMF FRESHNESS nécessite un argument de colonne pour les vues et les tables externes. Ainsi, si vous ajoutez la DMF FRESHNESS à un schéma, Snowflake ignore les vues et les tables externes lorsqu’il associe la DMF aux objets dans le schéma.

• Vous ne pouvez pas définir une planification basée sur des déclencheurs au niveau du schéma.