データ品質問題の通知送信¶

ワークフロー¶

データ品質問題に関する通知を送信するためのSnowflakeの構成は、次のタスクで構成されます。

1. 通知の受信者を構成します。

2. データベース所有者に アクセス制御権限を付与します 。

3. データベースを変更して、通知を構成しオンにします。

このワークフローのエンドツーエンドの例については、 拡張例 を参照してください。

通知受信者の構成¶

メールアドレスを直接追加するか、通知の統合を作成して、通知受信者を定義します。

通知統合は、Snowflakeとサードパーティのメッセージングサービス間のインターフェースを提供するSnowflakeオブジェクトです。データ品質問題に関する通知を送信するには、メッセージングサービスの通知統合を作成します。データ品質モニタリングは、以下のタイプの通知をサポートします。

• メール通知

• ウェブフックを使用して、Slackなどの外部システム経由で送信される通知。

メール統合を作成せずにメールアドレスを追加する方法について詳しくは、:ref:`label-data_quality_notifications_database`を参照してください。

CREATE NOTIFICATION INTEGRATION my_email_int
  TYPE=EMAIL
  ENABLED=TRUE
  ALLOWED_RECIPIENTS = ('joe.smith@example.com');

CREATE OR REPLACE SECRET my_slack_webhook_secret
  TYPE = GENERIC_STRING
  SECRET_STRING = 'T00000000/B00000000/XXXXXXXXXXXXXXXXXXXXXXXX';

CREATE OR REPLACE NOTIFICATION INTEGRATION my_slack_webhook_int
  TYPE=WEBHOOK
  ENABLED=TRUE
  WEBHOOK_URL='https://hooks.slack.com/services/SNOWFLAKE_WEBHOOK_SECRET'
  WEBHOOK_SECRET=my_db.sch1.my_slack_webhook_secret
  WEBHOOK_BODY_TEMPLATE='{"text": "SNOWFLAKE_WEBHOOK_MESSAGE"}'
  WEBHOOK_HEADERS=('Content-Type'='application/json');

権限を付与する¶

データベース内のオブジェクトの通知を設定するには、データベース所有者に次の権限が必要です。

• アカウントに対する MANAGE DATA QUALITY

• 通知の送信に使用される通知統合に対するUSAGE。これは、通知の統合を使用する場合にのみ必要です。

例えば、 data_steward ロールを持つユーザーがデータベース my_db の所有者だとします。通知統合 my_email_int を使用して、 my_db のテーブルとビューに関連付けられたDMFsによって発見された品質問題について通知を送信するには、次のコマンドを実行します。

GRANT MANAGE DATA QUALITY ON ACCOUNT TO ROLE data_steward;
GRANT USAGE ON INTEGRATION my_email_int TO ROLE data_steward;

データ品質通知用のデータベース設定の構成¶

DATA_QUALITY_MONITORING_SETTINGSプロパティを使用して:doc:ALTER DATABASE</sql-reference/sql/alter-database>`ステートメントを実行することで、データベースの通知をオンにできます。このプロパティは :ref:`ドル引用符付き <label-dollar_quoted_string_constants> YAML仕様を使用して通知設定を定義します。

DATA_QUALITY_MONITORING_SETTINGSは、データ品質通知における次の要素を指定します。

• データベースに対して通知が有効になっているか無効になっているか。

• 通知を受け取るメールアドレス（通知の統合を使用せずに指定）。

• どの:doc:`通知の統合</sql-reference/sql/create-notification-integration>`が通知を送信するか（存在する場合）。複数の通知統合を指定して、異なるチャネルから通知を送信することができます。

• どれくらいの頻度で通知を送信するか。

• 通知に、データ品質に問題がある特定のテーブルやビューの名前が含まれるかどうか。このメタデータは、問題をすばやく特定して対処するのに役立ちます。

例:

CopyExpand

ALTER DATABASE my_db SET DATA_QUALITY_MONITORING_SETTINGS =
  $$
  notification:
    enabled: TRUE
    email_recipients: [ 'joe@example.com', 'mary@example.com']
    integrations:
      - WEBHOOK_NOTIFY_INT
    cooldown_hours: 4
    metadata_included: TRUE
  $$;

Show lessSee more

Scroll to top

この例では、次の構成を指定します。

• データベース my_db に対して通知が有効になっています。

• 通知は2つのメールアドレスと1つの外部チャネルに送信されます。

• 通知は、4時間に1回より高い頻度で送信されることはありません。

• 通知には、オブジェクトとその関連するDMFを識別するメタデータが含まれます。

特定のDMF関連付けの通知をオフにする¶

デフォルトでは、データベースの通知をオンにすると、データベース内のオブジェクトのデータ品質に問題がある場合に通知が生成されます。オブジェクトとDMFの間の特定の関連付けの通知をオフにして、通知の送信を防ぐことができます。関連付けの通知をオフにするには、ALTER <object> MODIFY DATA METRIC FUNCTIONステートメントを実行して、DATA_QUALITY_NOTIFICATIONパラメーターをFALSEに設定します。

たとえば、ビュー v2 を含むデータベースに対して通知がオンになっているとします。BLANK_COUNT DMFが列 c1 の品質問題を検出した場合に通知の送信を希望しない場合は、次のコマンドを実行します。

ALTER VIEW v2
  MODIFY DATA METRIC FUNCTION SNOWFLAKE.CORE.BLANK_COUNT ON (c1)
    SET DATA_QUALITY_NOTIFICATION = FALSE;

通知がオンになっているかどうかを確認する¶

DATA_METRIC_FUNCTION_REFERENCES 関数は、オブジェクトとDMFの関連付けに関する情報を返します。出力には列 data_quality_notification_status が含まれ、これを使用して、関連付けで通知がオンになっているかどうかを判断できます。

拡張例¶

アカウントに以下のようなアイテムがあるとします。

• 2つのテーブル（ t1 および t2 ）および1つのビュー（ v1 ）を含むデータベース my_db 。

• 両方の関連付けに対して異常検出がオンのROW_COUNT DMFに関連付けられているテーブル t1 および t2 。

• ロール analyst が my_db の所有者です。

• ビュー v1 はNULL_COUNT DMFに関連付けられており、関連付けに定義された期待があります。

テーブル t1 または t2 に異常があった場合にユーザーがメールを受信できるようにしたいですが、ビュー v1 に品質問題がある場合に通知を送信することは希望しません。

1. データ品質に問題がある場合に誰が通知を受け取るべきかを示す:ref:通知の統合を作成します<label-data_quality_notifications_create>。

   CopyExpand

   CREATE NOTIFICATION INTEGRATION notify_int
     TYPE=EMAIL
     ENABLED=TRUE
     ALLOWED_RECIPIENTS=('joe.smith@example.com');
   

   Show lessSee more

   Scroll to top

2. ``my_db``の所有者である``analyst``ロールに:ref:`権限を付与<label-data_quality_notifications_grant>`します。

   CopyExpand

   GRANT MANAGE DATA QUALITY ON ACCOUNT TO ROLE analyst;
   GRANT USAGE ON INTEGRATION notify_int TO ROLE analyst;
   

   Show lessSee more

   Scroll to top

3. データベースの設定を構成して 通知をオンにします。これらの通知には、データ品質に問題があったオブジェクトの名前が含まれます。

   CopyExpand

   ALTER DATABASE my_db SET DATA_QUALITY_MONITORING_SETTINGS =
     $$
     notification:
       enabled: TRUE
       integrations:
         - NOTIFY_INT
       metadata_included: TRUE
     $$
   

   Show lessSee more

   Scroll to top

4. ビュー v1 およびNULL_COUNT DMF間の関連付けの 通知をオフにします 。

   CopyExpand

   ALTER VIEW v1
     MODIFY DATA METRIC FUNCTION SNOWFLAKE.CORE.NULL_COUNT ON (c1)
       SET DATA_QUALITY_NOTIFICATION = FALSE;
   

   Show lessSee more

   Scroll to top