Überwachen der Datenqualitätsprüfungen in Snowsight¶

Erste Schritte¶

Um einen Einblick in die Datenqualität eines Objekts zu erhalten, gehen Sie wie folgt vor:

1. Melden Sie sich bei Snowsight an.

2. Wählen Sie im Navigationsmenü Catalog » Database Explorer, und wählen Sie dann das Objekt aus.

3. Wählen Sie die Registerkarte Data Quality aus.

4. Wählen Sie Monitoring aus.

5. Führen Sie eine der folgenden Aktionen aus:

   • Wenn Sie noch keine DMFs verknüpft haben, wählen Sie Set up aus. Dadurch wird ein ausgefülltes Arbeitsblatt geöffnet, das Ihnen den Einstieg beim Festlegen eines Zeitplans, Erstellen kundenspezifischer DMFs und Verknüpfen einer DMF mit dem Objekt erleichtert.

   • Wenn Sie bereits DMFs mit dem Objekt verknüpft haben, beginnen Sie mit der Erkundung! Sie sehen nur eine DMF, wenn Sie über die entsprechenden Zugriffssteuerungsrechte verfügen.

Erläuterungen dazu, welche DMFs ausgeführt werden¶

Die mit dem Objekt verknüpften DMFs sind unter Quality Dimensions aufgeführt.

DMFs werden wie folgt gruppiert:

• System-DMFs werden nach ihrer Kategorie gruppiert. Beispiel: Die DMFs NULL_COUNT und BLANK_COUNT sind in der Kategorie Accuracy gruppiert. Wenn es nur eine System-DMF in einer Kategorie gibt (z. B. die DMFROW_COUNT in der Kategorie Volume), wird der Name der DMF weggelassen.

• Alle kundenspezifischen DMFs, die mit dem Objekt verknüpft sind, sind unter Custom gruppiert.

Für jede DMF gibt es eine Zeile für jede Verknüpfung zwischen DMF und Objekt. Denken Sie daran: Solange die Spaltenargumente unterschiedlich sind, kann die gleiche DMF mehrmals mit demselben Objekt verknüpft sein. Wenn es mehrere Zeilen gibt, wählen Sie eine bestimmte Spaltenzeile aus, um die Ergebnisse der DMF-Ausführung mit dieser Spalte als Argument anzuzeigen.

Beispiel: Angenommen, die DMF NULL_COUNT war mit der Tabelle t1 unter Verwendung der folgenden SQL-Anweisung verknüpft:

ALTER TABLE t1
  ADD DATA METRIC FUNCTION SNOWFLAKE.CORE.NULL_COUNT
    ON (c1);

Die Zeile, die die Spalte c1 enthält, zeigt die Ergebnisse der Ausführung dieser DMF an.

Das Widget Run Schedule gibt an, wie oft die DMFs ausgeführt werden. Dies entspricht dem Wert, der für den Parameter DATA_METRIC_SCHEDULE des Objekts festgelegt wurde. Weitere Informationen dazu finden Sie unter Die Ausführung der DMF planen.

Untersuchen nicht bestandener Qualitätsprüfungen¶

Eine Datenqualitätsprüfung besteht aus einer DMF-Verknüpfung, die eine Erwartung hat. Mit einer Erwartung können Sie Kriterien dafür festlegen, ob Daten eine von einer DMF durchgeführte Datenqualitätsprüfung bestehen. Wenn die DMF einen Wert zurückgibt, wird dieser Wert mit den Kriterien der Erwartung verglichen, um festzustellen, ob die Daten die Prüfung bestanden haben oder nicht. Weitere Informationen zur Verwendung von Erwartungen zum Einrichten von Datenqualitätsprüfungen finden Sie unter Erwartungen zur Implementierung von Datenqualitätsprüfungen verwenden.

Sie können den folgenden Prozess verwenden, um nicht bestandene Qualitätsprüfungen zu untersuchen.

Schritt 1: Gibt es nicht bestandene Qualitätsprüfungen?

Die Anzahl der nicht bestandenen Qualitätsprüfungen für alle DMFs, die mit dem Objekt verknüpft sind, wird oben auf der Seite Monitoring angezeigt.

Schritt 2: Welche DMF-Kategorie hatte eine nicht bestandene Qualitätsprüfung?

Verwenden Sie das Widget Checks by dimension, um den Status jeder Gruppe von DMFs auf der Seite Monitoring zu überprüfen. Rot gibt an, dass mindestens eine DMF in der Gruppe eine Qualitätsprüfung nicht bestanden hat.

Schritt 3: Welche DMF-Verknüpfung weist eine nicht bestandene Qualitätsprüfung auf?

Wenn bei der Kategorie mindestens eine Qualitätsprüfung nicht bestanden wurde, erweitern Sie das Widget für die Kategorie, und scannen Sie dann die Spalte Quality Checks, um die Zeile zu finden, in der nicht alle Prüfungen bestanden wurden.

Schritt 4: Um was geht es bei der Qualitätsprüfung?

Um die Qualitätsprüfung, die Sie untersuchen, besser zu verstehen, gehen Sie wie folgt vor:

1. Wählen Sie die DMF-Verknüpfung aus, die die Datenqualitätsprüfung nicht bestanden hat. Eine Seitenbereich wird geöffnet.

2. Überprüfen Sie im Abschnitt Quality Checks die Spalte Status, um festzustellen, welche Qualitätsprüfung nicht bestanden wurde. Dies entspricht der Erwartung, gegen die verstoßen wurde.

3. Verwenden Sie für jede nicht bestandene Qualitätsprüfung die Spalte Expression, um den Wert zu ermitteln, den die Qualitätsprüfung als Rückgabewert der DMF erwartete. Dies entspricht dem Ausdruck der Erwartung.

Schritt 5: Welche Ressourcen sind von dem Qualitätsproblem betroffen?

Suchen Sie bei geöffnetem Seitenbereich den Abschnitt Impacted Assets, damit Sie feststellen können, welche anderen Objekte von dem Qualitätsproblem betroffen sein könnten. Weitere Informationen zur Interpretation der Liste von Objekten finden Sie unter Abschnitt Impacted Assets.

Schritt 6: Welche Datensätze haben gegen die Qualitätsprüfung verstoßen? (Bitte nur System-DMFs auswählen)

1. Wählen Sie bei geöffnetem Seitenbereich View Failed Records aus.

2. Führen Sie die vorab ausgefüllte Abfrage aus, um die Datensätze anzuzeigen, die die Qualitätsprüfung nicht bestanden haben. Diese Abfrage ruft die Funktion SYSTEM$DATA_METRIC_SCAN auf.

   Weitere Informationen zur Verwendung der Funktion SYSTEM$DATA_METRIC_SCAN zur Behebung von Datenqualitätsproblemen finden Sie unter Verwenden Sie SYSTEM$DATA_METRIC_SCAN zur Korrektur von Daten.

Drilldown in die DMF-Ergebnisse¶

Jede Zeile unter Quality Dimensions zeigt die aktuellen Ergebnisse der DMF und einen 7-Tage-Trend der Ergebnisse an. Wenn Sie diese Ergebnisse im Detail anzeigen möchten, wählen Sie eine Zeile aus, um ein Seitenfenster zu öffnen. Im Folgenden werden die Elemente dieses Seitenbereichs beschrieben.

Schaltfläche View Lineage

Wählen Sie eine DMF aus, um die Herkunft des mit dieser DMF verknüpften Objekts anzuzeigen.

Schaltfläche View failed records (bitte nur System-DMFs auswählen)

Wenn die DMF einen Wert größer als 0 zurückgegeben hat, können Sie ermitteln, welche Datensätze als qualitativ problematisch gekennzeichnet wurden. Wenn beispielsweise die DMF NULL_COUNT den Wert 5 zurückgegeben hat, können Sie feststellen, welche fünf Datensätze einen Wert von NULL enthalten.

Bei Auswahl von View failed records öffnet sich ein Arbeitsblatt, das bereits mit einer Abfrage ausgefüllt ist, die die die Funktion SYSTEM$DATA_METRIC_SCAN aufruft. Führen Sie diese Abfrage aus, um die Datensätze zurückzugeben, die im Ergebnis von DMF enthalten waren.

Weitere Informationen zur Verwendung der Funktion SYSTEM$DATA_METRIC_SCAN finden Sie unter Behebung von Datenqualitätsproblemen.

Abschnitt Arguments (nur DMFs mit mehreren Argumenten)

Wenn eine kundenspezifische DMF mehrere Spalten als Argumente verwendet, werden diese Spalten aufgelistet. Sie können eine Spalte auswählen, um zu zur Registerkarte Columns des Objekts zu navigieren, das die Spalte enthält.

Abschnitt Quality Checks

Listet die Erwartungen auf, die der Verknüpfung zwischen der DMF und dem Objekt hinzugefügt wurden. Jede Erwartung implementiert eine Datenqualitätsprüfung. Dieser Abschnitt enthält die folgenden Spalten:

• Name: Name der Erwartung.

• Expression: Ausdruck der Erwartung. Weitere Informationen dazu finden Sie unter Definieren, was die Erwartung erfüllt.

• Status: Gibt an, ob gegen die Erwartung bei der letzten Ausführung der DMF verstoßen wurde.

Abschnitt Impacted Assets

Zeigt die Objekte an, die in der Herkunft des Objekts nachgelagert :ref:` <label-lineage_upstream_downstream>` sind, mit dem die DMF verknüpft ist. Wenn es ein Problem mit der Datenqualität gibt, können Sie feststellen, welche anderen Objekte möglicherweise betroffen sind. Der Inhalt des Abschnitts hängt davon ab, ob die DMF ein einzelnes Argument (wie System-DMFs) oder mehrere Argumente akzeptiert.

• Wenn die DMF eine Spalte als Argument akzeptiert, überprüft Snowflake, ob das nachgelagerte Objekt Daten aus dieser Spalte enthält. Nehmen wir zum Beispiel an, dass die DMF NULL_COUNT NULL-Werte in der Spalte name der Tabelle t1 enthält. Eine nachgelagerte Ansicht, die aus t1 erstellt wurde, wird nur dann in der Liste der betroffenen Ressourcen angezeigt, wenn sie Daten aus der Spalte name enthält.

• Wenn die DMF mehrere Spalten akzeptiert, werden alle nachgelagerten Objekte angezeigt, auch wenn die Daten aus den Spalten im nachgelagerten Objekt nicht vorhanden sind.

Abschnitt Run History

Stellt das Ergebnis der DMF im Zeitverlauf grafisch dar, sodass Sie Trends ermitteln können.