2024年3月29日 --- Data Quality Monitoringリリースノート¶

Data Quality Monitoringとデータメトリック関数 --- プレビュー¶

このリリースにより、Snowflakeはデータメトリック関数（DMFs）を使ったData Quality Monitoringのプレビューをお知らせします。Data Quality Monitoringは、 DMFs を使用して、完全性、正確性、一意性、妥当性などのデータ品質メトリクスを継続的にモニタリングします。行数、重複、鮮度などの一般的なメトリクスには、Snowflakeが提供するシステム DMFs を利用できます。また、独自のカスタム・DMFs を作成して、独自のデータに特化したメトリクスを定義することもできます。

クエリで DMF を使用してデータパイプラインのデータ品質をテストするか、 DMF を目的のテーブルに関連付け、その品質を継続的にモニタリングすることができます。継続的なモニタリングには、定期的な計測を行うスケジュールベースと、基礎となるテーブルが変更された時のみ計測を行うトリガーベースの2種類があります。DMF の結果は、データのプライバシーを保護するために、Snowflakeアカウントの一元化されたイベントテーブルに記録されます。イベントテーブルから直接、ダッシュボードの作成、アラートの構成、計測結果のクエリを実行できます。さらに、イベントテーブルのデータは、可観測性ツールとのデータ統合を容易にするため、標準的な OpenTelemetry 形式となっています。

詳細については、 データ品質とデータメトリック関数の紹介 をご参照ください。