Envoi de notifications en cas de problèmes de qualité des données¶

Workflow¶

La configuration de Snowflake pour envoyer des notifications en cas de problèmes de qualité des données comprend les tâches suivantes :

1. Créez une intégration de notification.

2. Octroyez des privilèges de contrôle d’accès au propriétaire de la base de données.

3. Modifiez la base de données pour activer les notifications et spécifier l’intégration de notification qui les enverra.

Pour découvrir un exemple de bout en bout de ce workflow, consultez Exemple étendu.

Créer une intégration de notification¶

Une intégration de notification est un objet Snowflake qui fournit une interface entre Snowflake et des services tiers de messages. Pour envoyer des notifications en cas de problèmes de qualité des données, créez une intégration de notification pour le service de messagerie. La surveillance de la qualité des données prend en charge les types de notifications suivants :

• Notifications par e-mail

• Notifications envoyées via des systèmes externes tels que Slack, à l’aide de webhooks.

CREATE NOTIFICATION INTEGRATION my_email_int
  TYPE=EMAIL
  ENABLED=TRUE
  ALLOWED_RECIPIENTS = ('joe.smith@example.com');

CREATE OR REPLACE SECRET my_slack_webhook_secret
  TYPE = GENERIC_STRING
  SECRET_STRING = 'T00000000/B00000000/XXXXXXXXXXXXXXXXXXXXXXXX';

CREATE OR REPLACE NOTIFICATION INTEGRATION my_slack_webhook_int
  TYPE=WEBHOOK
  ENABLED=TRUE
  WEBHOOK_URL='https://hooks.slack.com/services/SNOWFLAKE_WEBHOOK_SECRET'
  WEBHOOK_SECRET=my_db.sch1.my_slack_webhook_secret
  WEBHOOK_BODY_TEMPLATE='{"text": "SNOWFLAKE_WEBHOOK_MESSAGE"}'
  WEBHOOK_HEADERS=('Content-Type'='application/json');

Accorder des privilèges¶

Pour configurer des notifications pour des objets dans une base de données, le propriétaire de la base de données doit disposer des privilèges suivants :

• MANAGE DATA QUALITY sur le compte

• USAGE sur l’intégration de notification

Par exemple, supposons qu’un utilisateur avec le rôle data_steward est le propriétaire de la base de données my_db. Pour utiliser l’intégration de notification my_email_int pour envoyer des notifications en cas de problèmes de qualité détectés par les DMFs associées aux tables et aux vues dans my_db, exécutez les commandes suivantes :

GRANT MANAGE DATA QUALITY ON ACCOUNT TO ROLE data_steward;
GRANT USAGE ON INTEGRATION my_email_int TO ROLE data_steward;

Configurer les paramètres de base de données pour les notifications de qualité des données¶

Après avoir créé une intégration de notification et accordé les privilèges nécessaires, vous pouvez activer les notifications pour une base de données en exécutant une instruction ALTER DATABASE avec la propriété DATA_QUALITY_MONITORING_SETTINGS. Cette propriété utilise une spécification YAML exprimée en dollars pour définir les paramètres de notification.

Lorsque vous définissez cette propriété, vous contrôlez trois aspects des notifications de qualité des données :

• Si les notifications sont activées ou désactivées pour la base de données.

• Quelles intégrations de notification envoient les notifications. Vous pouvez spécifier plusieurs intégrations de notification pour envoyer des notifications via différents canaux.

• Si les notifications incluent le nom de la table ou de la vue spécifique qui pose un problème de qualité des données. Ces métadonnées permettent d’identifier et de résoudre rapidement le problème.

Par exemple :

ALTER DATABASE my_db SET DATA_QUALITY_MONITORING_SETTINGS =
  $$
  notification:
    enabled: TRUE
    integrations:
      - EMAIL_NOTIFY_INT
      - WEBHOOK_NOTIFY_INT
    metadata_included: TRUE
  $$

Copy

• Les notifications sont activées pour la base de données my_db.

• Les notifications sont envoyées via deux intégrations de notification : email_notify_int et webhook_notify_int. Cela signifie que les problèmes de qualité des données déclenchent des notifications via les deux canaux.

• Les notifications incluent des métadonnées qui identifient l’objet et la DMF qui y est associée.

Désactiver les notifications pour une association de DMF spécifique¶

Par défaut, une fois que vous avez activé les notifications pour une base de données, les problèmes de qualité des données dans tout objet de la base de données génèrent une notification. Vous pouvez désactiver les notifications pour une association spécifique entre un objet et une DMF pour empêcher l’envoi de notifications. Pour désactiver les notifications pour une association, exécutez une instruction ALTER <object> MODIFY DATA METRIC FUNCTION pour définir le paramètre DATA_QUALITY_NOTIFICATION sur FALSE.

Par exemple, supposons que les notifications soient activées pour la base de données qui contient la vue v2. Si vous ne souhaitez pas que des notifications soient envoyées lorsque la DMF BLANK_COUNT trouve des problèmes de qualité avec la colonne c1, exécutez la commande suivante :

ALTER VIEW v2
  MODIFY DATA METRIC FUNCTION SNOWFLAKE.CORE.BLANK_COUNT ON (c1)
    SET DATA_QUALITY_NOTIFICATION = FALSE;

Déterminer si les notifications sont activées¶

La fonction DATA_METRIC_FUNCTION_REFERENCES renvoie des informations sur l’association entre un objet et une DMF. La sortie comprend une colonne data_quality_notification_status, que vous pouvez utiliser pour déterminer si les notifications sont activées pour l’association.

Exemple étendu¶

Supposons que vous ayez les éléments suivants dans votre compte :

• Une base de données my_db qui contient deux tables (t1 et t2) et une vue (v1).

• Des tables t1 et t2 qui sont associées à la DMF ROW_COUNT, et la détection des anomalies est activée pour les deux associations.

• Le rôle analyst est le propriétaire de my_db.

• La vue v1 est associée à la DMF NULL_COUNT, et une attente est définie pour l’association.

Vous souhaitez que les utilisateurs reçoivent un e-mail lorsqu’il y a une anomalie dans les tables t1 ou t2, mais vous ne voulez pas qu’une notification soit envoyée en cas de problème de qualité avec la vue v1.

1. Créez l’intégration de notification qui indique qui devrait recevoir des notifications en cas de problème de qualité des données :

   CREATE NOTIFICATION INTEGRATION notify_int
     TYPE=EMAIL
     ENABLED=TRUE
     ALLOWED_RECIPIENTS=('joe.smith@example.com');
   

   Copy

2. Accordez des privilèges sur la nouvelle intégration de notification du rôle analyst, qui est le propriétaire de my_db :

   GRANT MANAGE DATA QUALITY ON ACCOUNT TO ROLE analyst;
   GRANT USAGE ON INTEGRATION notify_int TO ROLE analyst;
   

   Copy

3. Configurez les paramètres de la base de données pour activer les notifications. Ces notifications comprendront le nom de l’objet qui a rencontré un problème de qualité des données.

   ALTER DATABASE my_db SET DATA_QUALITY_MONITORING_SETTINGS =
     $$
     notification:
       enabled: TRUE
       integrations:
         - NOTIFY_INT
       metadata_included: TRUE
     $$
   

   Copy

4. Désactivez les notifications pour une association entre la vue v1 et la DMF NULL_COUNT :

   ALTER VIEW v1
     MODIFY DATA METRIC FUNCTION SNOWFLAKE.CORE.NULL_COUNT ON (c1)
       SET DATA_QUALITY_NOTIFICATION = FALSE;
   

   Copy