期待値を使用してデータ品質チェックを実装する¶

DMF に関連付けるときに期待値を追加する¶

ALTER TABLE または ALTER VIEW コマンドを使用して、DMF をテーブルまたはビューに関連付けます。その関連付けを作成するのと同じ SQL ステートメントで、関連付けに期待値を追加できます。

たとえば、DMF をテーブルに関連付けるときに期待値を追加する構文は次のとおりです。ビューは同様の構文を使用します。このプレビューでは、ハイライトされた句を導入しています。

  ALTER TABLE <table>
    ADD DATA METRIC FUNCTION <dmf>
      ON (<col_name> [ , ... ] [ , TABLE<table_name>( <col_name> [ , ... ] ) )
      [ EXPECTATION <expectation_name> ( <expression> )
        [, <expectation_name> ( <expression> ) [ , ... ] ] ]

条件:

• expectation_name は、期待値を識別するために使用される文字列です。異なる関連付けに属している限り、同じ名前の期待値を作成できます。

• expression は DMF が期待値を返したかどうかを決定するブール式です。期待値を満たすものを定義する をご参照ください。

例:単一の期待値を追加する

列 c1 の最大値をチェックするために、MAX システム DMF をビュー v1 に関連付けているとします。25から50の最大値を想定しています。

ALTER VIEW v1
  ADD DATA METRIC FUNCTION SNOWFLAKE.CORE.MAX ON (C1)
    EXPECTATION my_exp ( 25 < VALUE AND VALUE < 50);

Copy

MAX DMF が期待値のこの範囲外の値を返すと、Snowflakeはそれを期待値違反として記録します。

例:複数の期待値を追加する

テーブルが5分以内に更新されなかった場合に通知を受け取り、その後30分間更新されなかった場合に再度通知を受け取りたいとします。次の期待値を追加し、それらの期待値にいつ違反があったかを確認できます。

ALTER TABLE emp
ADD DATA METRIC FUNCTION SNOWFLAKE.CORE.FRESHNESS ON (last_updated)
  EXPECTATION lessThan5Mins (VALUE < 300), lessThan30Mins (VALUE < 1800);

Copy

既存の関連付けに期待値を追加する¶

ALTERTABLE または ALTERVIEW コマンドを使用して、DMF とテーブルまたはビューの既存の関連付けに期待値を追加します。

たとえば、テーブルと DMF の間の関連付けに期待値を追加する構文は以下のとおりです。ビューは同様の構文を使用します。このプレビューでは、ハイライトされた句を導入しています。

  ALTER TABLE <table>
    MODIFY DATA METRIC FUNCTION <dmf>
      ON (<col_name> [ , ... ] [ , TABLE<table_name>( <col_name> [ , ... ] ) )
      [ ADD EXPECTATION <expectation_name> ( <expression> )
        [, <expectation_name> ( <expression> ) [ , ... ] ] ]

条件:

• expectation_name は、期待値を識別するために使用される文字列です。異なる関連付けに属している限り、同じ名前の期待値を作成できます。

• expression は DMF が期待値を返したかどうかを決定するブール式です。期待値を満たすものを定義する をご参照ください。

例

以前、NULL_COUNTDMF システムをテーブル my_table の列 c1 に関連付けたとします。列 c1 に10以上の NULL 値がある場合に通知を受け取ることができるように期待値を追加するには、以下のコードを実行します。

ALTER TABLE my_table
  MODIFY DATA METRIC FUNCTION SNOWFLAKE.CORE.NULL_COUNT ON (c1)
    ADD EXPECTATION my_exp (VALUE < 10);

Copy

NULL_COUNT の結果が15の場合、期待値違反として報告されます。

既存の期待値を変更する¶

MODIFYEXPECTATION 句を使用して、以前に関連付けに追加した期待値の式を変更します。

たとえば、以前に期待値 my_exp を t1 と NULL_COUNTDMF の関連付けに追加したとします。列 c1 に15以上の NULL 値がある場合に違反になるように期待値を変更するには、次を実行します。

ALTER TABLE t1
  MODIFY DATA METRIC FUNCTION SNOWFLAKE.CORE.NULL_COUNT ON (c1)
    MODIFY EXPECTATION my_exp (VALUE < 15);

期待値の以前の式は、VALUE < 15 で置き換えられます。

SNOWFLAKE.LOCAL.DATA_QUALITY_MONITORING_RESULTS_RAW¶

データ品質の結果は専用のイベントテーブル SNOWFLAKE.LOCAL.DATA_QUALITY_MONITORING_RESULTS_RAW に記録されます。

オブジェクトと DMF の関連付けに期待値がある場合、Snowflakeが DMF の結果を計算するたびに2つの行がテーブルに追加されます。1つ目の行は、DMF が関連付けられているオブジェクト、DMF 自体、およびデータ品質チェックの結果に関する情報を記録します。2行目は、期待値を満たしているか、期待値に違反しているかなど、DMF の関連付けに設定された期待値に関連する情報を記録します。複数の期待値がある場合は、期待値ごとに行があります。

resource_attribute 列の snow.data_metric.record_type フィールドは、行が期待値に対応するかどうかを示します。このフィールドには2つの可能な値があります。

• EXPECTATION_VIOLATION_STATUS - 行が期待値に対応することを示します。

• EVALUATION_RESULT - 行が DMF の評価に対応することを示します。

行が期待値に対応している場合、resource_attribute 列には期待値に関連する次のフィールドも含まれます。

• snow.data_metric.expectation_id - システム生成識別子。

• snow.data_metric.expectation_name - 関連付けに追加されたときの期待値の名前。

• snow.data_metric.expectation_expression - 期待値の式。

行が期待値の評価に対応していることを確認した後、value 列をチェックし、期待値に違反しているかどうかを確認します。TRUE の場合、期待値に違反しています。

DATA_QUALITY_MONITORING_EXPECTATION_STATUS ビュー¶

SNOWFLAKE.LOCAL スキーマに存在する DATA_QUALITY_MONITORING_EXPECTATION_STATUS ビュー は、イベントテーブルの情報をフラット化して、DMF の結果にアクセスしやすくします。

DATA_QUALITY_MONITORING_EXPECTATION_STATUS 関数¶

DATA_QUALITY_MONITORING_EXPECTATION_STATUS テーブル関数は、DATA_QUALITY_MONITORING_EXPECTATION_STATUS ビューで利用可能なものと同じ情報を提供する行を返します。関数は、ビューとは異なるアクセス制御モデルを使用します。

関数を実行して期待値を追跡する¶

DATA_METRIC_FUNCTION_EXPECTATIONS 関数を実行して、特定のオブジェクト、特定の DMF、またはオブジェクトと DMF の関連付けに対して定義された期待値を出力できます。

例： 特定のオブジェクトに存在する期待値。

SELECT *
  FROM TABLE(
    INFORMATION_SCHEMA.DATA_METRIC_FUNCTION_EXPECTATIONS(
      REF_ENTITY_NAME => 'my_table',
      REF_ENTITY_DOMAIN => 'table'));

例： 特定の DMF に存在する期待値。

SELECT *
  FROM TABLE(
    INFORMATION_SCHEMA.DATA_METRIC_FUNCTION_EXPECTATIONS(
      METRIC_NAME => 'SNOWFLAKE.CORE.NULL_COUNT'));

例： オブジェクトと DMF 間の特定の関連付けに存在する期待値。

SELECT *
  FROM TABLE(
    INFORMATION_SCHEMA.DATA_METRIC_FUNCTION_EXPECTATIONS(
      METRIC_NAME => 'SNOWFLAKE.CORE.NULL_COUNT',
      REF_ENTITY_NAME => 'my_table',
      REF_ENTITY_DOMAIN => 'table'));

ビューをクエリして期待値を追跡する¶

ACCOUNT_USAGE スキーマの DATA_METRIC_FUNCTION_EXPECTATIONS ビュー には、アカウントのすべての期待値が含まれています。ビューをクエリして、アカウント内の期待値の使用状況を追跡し、各期待値のブール式を決定できます。

例： Snowflakeアカウントのすべての期待値を返します。

SELECT * FROM snowflake.account_usage.data_metric_function_expectations
  ORDER BY expectation_name;

例： 特定のデータメトリック関数の期待値を特定します。

SELECT expectation_name,
    ref_database_name as object_database,
    ref_schema_name as object_schema,
    ref_entity_name as object_name
  FROM snowflake.account_usage.data_metric_function_expectations
  WHERE
    metric_database_name = 'SNOWFLAKE' AND
    metric_schema_name = 'CORE' AND
    metric_name = 'ROW_COUNT'
  ORDER BY expectation_name;