29. März 2024 – Versionshinweise zu Data Quality Monitoring¶

Data Quality Monitoring und Datenmetrikfunktionen – Vorschau¶

Mit diesem Release kann Snowflake die Einführung von Data Quality Monitoring mit Datenmetrikfunktionen (DMFs) in der Vorschau bekannt geben. Data Quality Monitoring verwendet DMFs zur kontinuierlichen Überwachung der Datenqualitätskennzahlen wie Vollständigkeit, Genauigkeit, Eindeutigkeit und Gültigkeit. Sie können die von Snowflake bereitgestellten System-DMFs für gängige Kennzahlen wie Zeilenanzahl, Duplikate und Aktualität verwenden. Alternativ können Sie auch Ihre eigenen kundenspezifischen DMFs erstellen, um Metriken zu definieren, die speziell auf Ihre eigenen Daten zugeschnitten sind.

Sie können entweder die DMF in einer Abfrage verwenden, um die Qualität der Daten in Ihrer Pipeline zu testen, oder die DMF mit den gewünschten Tabellen verknüpfen, um deren Qualität kontinuierlich zu überwachen. Die kontinuierliche Überwachung kann entweder zeitplanbasiert für regelmäßige Messungen oder Trigger-basiert sein, um nur dann zu messen, wenn die zugrunde liegende Tabelle geändert wird. DMF-Ergebnisse werden in einer zentralen Ereignistabelle in Ihrem Snowflake-Konto erfasst, um Ihre sensiblen Daten zu schützen. Sie können Dashboards erstellen, Alerts konfigurieren oder metrische Ergebnisse direkt aus der Ereignistabelle abfragen. Außerdem liegen die Daten in der Ereignistabelle im Standardformat OpenTelemetry vor, sodass sie sich leicht in Beobachtungstools integrieren lassen.

Weitere Details dazu finden Sie unter Einführung in Data Quality und Datenmetrikfunktionen.