Verwenden von Snowsight zum Einrichten von Datenqualitätsprüfungen

In diesem Thema wird beschrieben, wie Sie Snowsight verwenden, um Datenqualitätsprüfungen einzurichten. Sie können die folgenden Strategien verwenden, um Datenqualitätsprüfungen einzurichten:

Eine Einführung in die Konzepte von Datenqualitätsprüfungen finden Sie unter Zentrale Konzepte für Datenqualitätsprüfungen.

Einrichten von Qualitätsprüfungen mit Cortex Data Quality

Cortex Data Quality verwendet AI, um Datenqualitätsprüfungen auf der Grundlage von Merkmalen Ihrer Metadaten vorzuschlagen. Wenn Sie die Vorschläge akzeptieren, überprüft Snowflake Ihre Daten in regelmäßigen Abständen auf Qualitätsprobleme, um Probleme zu identifizieren.

Cortex Data Quality nutzt die Snowflake CortexAI_COMPLETE-Funktion, um auf intelligente Weise Datenqualitätsprüfungen vorzuschlagen. Da sie sicher innerhalb von Snowflake Cortex ausgeführt werden, bleiben Ihre Unternehmensdaten und Metadaten immer sicher in Snowflake. Cortex Data Quality respektiert auch vollständig die Snowflake-Zugriffssteuerung und liefert Vorschläge, die nur auf den Daten basieren, auf die Sie zugreifen können.

Um Cortex Data Quality für die Einrichtung von Datenqualitätsprüfungen zu verwenden, gehen Sie wie folgt vor:

  1. Melden Sie sich bei Snowsight an.

  2. Wählen Sie im Navigationsmenü Catalog » Database Explorer, und wählen Sie dann das Objekt aus.

  3. Wählen Sie die Registerkarte Data Quality aus.

  4. Wählen Sie Monitoring aus.

  5. Führen Sie eine der folgenden Aktionen aus:

    • Wenn Sie zum ersten Mal Qualitätsprüfungen einrichten, wählen Sie Get started.

    • Wenn Sie zusätzliche Qualitätsprüfungen einrichten, wählen Sie Add quality check aus, und wählen Sie dann Suggested quality checks aus.

  6. Überprüfen Sie die vorgeschlagenen Datenqualitätsprüfungen. Um die Kriterien zu ändern, die bestimmen, ob Daten eine Qualitätsprüfung bestehen, bearbeiten Sie den Inhalt der Spalte What should the result be?.

  7. Wählen Sie die Qualitätsprüfungen aus, die Sie implementieren möchten, und wählen Sie dann Apply aus.

Weitere Informationen zu Cortex Data Quality finden Sie unter Weitere Informationen zu Cortex Data Quality.

Manuelles Einrichten von Qualitätsprüfungen

Um Datenqualitätsprüfungen auf der Grundlage Ihres Wissens über Ihre Daten zu erstellen, gehen Sie wie folgt vor:

  1. Melden Sie sich bei Snowsight an.

  2. Wählen Sie im Navigationsmenü Catalog » Database Explorer, und wählen Sie dann das Objekt aus.

  3. Wählen Sie die Registerkarte Data Quality aus.

  4. Wählen Sie Monitoring aus.

  5. Führen Sie eine der folgenden Aktionen aus:

    • Wenn Sie zum ersten Mal Qualitätsprüfungen einrichten, wählen Sie Start manually.

    • Wenn Sie zusätzliche Qualitätsprüfungen einrichten, wählen Sie Add quality check aus, und wählen Sie dann Build checks manually aus.

  6. Wählen Sie im Dialogfeld Set up a quality check den Typ der Prüfung aus, den Sie erstellen möchten.

  7. Konfigurieren Sie die Kriterien, die bestimmen, ob die Daten die Qualitätsprüfung bestehen, und wählen Sie dann Save aus.

Tipp

Wenn Sie die Anomalieerkennung aktivieren möchten, sodass Snowflake Probleme mit der Datenqualität auf der Grundlage des historischen Volumens und der Aktualität Ihrer Daten automatisch erkennen kann, verwenden Sie entweder Cortex Data Quality, und akzeptieren Sie dessen Vorschläge zur Anomalieerkennung, oder richten Sie die Anomalieerkennung manuell ein.

Anpassen, wie oft Qualitätsprüfungen ausgeführt werden

Der Zeitplan einer Tabelle oder einer Ansicht bestimmt, wie oft die DMF die Datenqualitätsprüfung ausführt. Der Zeitplan kann auf der Zeit oder auf den Aktualisierungen der Tabelle basieren.

Bemerkung

Sie können nicht Snowsight verwenden, um den Zeitplan so lange anzupassen, bis Sie mindestens eine Qualitätsprüfung hinzugefügt haben. Sie können einen ALTER <object>-Befehl verwenden, um den Zeitplan für eine Tabelle oder eine Ansicht jederzeit festzulegen.

  1. Melden Sie sich bei Snowsight an.

  2. Wählen Sie im Navigationsmenü Catalog » Database Explorer, und wählen Sie dann das Objekt aus.

  3. Wählen Sie die Registerkarte Data Quality aus.

  4. Wählen Sie Monitoring aus.

  5. Wählen Sie Settings aus.

  6. Geben Sie an, wie oft Sie die DMF ausführen möchten:

    • Um die DMF in regelmäßigen Abständen von einem Tag oder weniger auszuführen, wählen Sie Interval-based timing aus. Wählen Sie anschließend in der Dropdown-Liste das Intervall aus.

    • Um die DMF nach einem kundenspezifischen Zeitplan auszuführen, wählen Sie Select schedule aus, und legen Sie den Zeitplan fest.

    • Um die DMF immer dann auszuführen, wenn es eine DML-Änderung an der Tabelle gibt, zum Beispiel, wenn eine Zeile hinzugefügt wird, wählen Sie Trigger-based execution aus.

Weitere Informationen zu Cortex Data Quality

Die folgenden Abschnitte enthalten zusätzliche Informationen zu Cortex Data Quality.

Erforderliche LLMs

Cortex Data Quality funktioniert nur, wenn der CORTEX_MODELS_ALLOWLIST-Kontoparameter die Modelle mistral-7b und llama3.1-8b innerhalb des Kontos ermöglicht. Standardmäßig sind beide Modelle zulässig. Weitere Informationen zur Einstellung dieses Parameters finden Sie unter Parameter für die Zulassungsliste auf Kontoebene.

Anforderungen an die Zugriffssteuerung

Benutzende mit Administratorrechten mit der Rolle ACCOUNTADMIN haben alle Berechtigungen, die sie benötigen, um Cortex zu verwenden und Datenqualitätsprüfungen vorzuschlagen.

Andere Benutzende müssen über die folgenden Berechtigungen und Rollen verfügen:

  • OWNERSHIP-Berechtigung für die Tabelle

  • EXECUTE DATA METRIC FUNCTION-Berechtigung für das Konto

  • SNOWFLAKE.DATA_METRIC_USER Datenbankrolle

  • SNOWFLAKE.CORTEX_USER Datenbankrolle

Beschränken des Zugriffs

Standardmäßig ist die Datenbankrolle CORTEX_USER der Rolle PUBLIC zugewiesen, was bedeutet, dass jeder Benutzende sie hat. Wenn Sie nicht möchten, dass alle Benutzenden die Features von Snowflake Cortex nutzen können, können Sie diese Datenbankrolle der PUBLIC-Rolle entziehen und dann bestimmten Rollen zuweisen.

Um Benutzende daran zu hindern, Cortex zu verwenden, um Qualitätsprüfungen vorzuschlagen, entziehen Sie die CORTEX_USER-Datenbankrolle der PUBLIC-Rolle, indem Sie die folgenden Befehle ausführen. Stellen Sie sicher, dass Sie die ACCOUNTADMIN-Rolle verwenden.

USE ROLE ACCOUNTADMIN;

REVOKE DATABASE ROLE SNOWFLAKE.CORTEX_USER
  FROM ROLE PUBLIC;
Copy

Sie können jetzt selektiv Zugriff gewähren, indem Sie bestimmten Rollen die CORTEX_USER-Datenbankrolle gewähren. Im folgenden Beispiel verwenden Sie die Rolle ACCOUNTADMIN und weisen dem Benutzenden some_user die Datenbankrolle CORTEX_USER über die Kontorolle cortex_access_role zu, die Sie zu diesem Zweck erstellen.

USE ROLE ACCOUNTADMIN;

CREATE ROLE cortex_access_role;
GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE cortex_access_role;

GRANT ROLE cortex_access_role TO USER some_user;
Copy

Sie können bestehenden Rollen auch die CORTEX_USER-Datenbankrolle gewähren.

Hinweise zu Kosten

Die Kosten für die Nutzung von Cortex Data Quality setzen sich wie folgt zusammen:

  • Kosten im Zusammenhang mit der Funktion COMPLETE (SNOWFLAKE.CORTEX). Diese Gebühren erscheinen auf der Rechnung als AI-Services, die alle Nutzungen von Snowflake Cortex umfassen.

  • Computekosten des standardmäßigen Warehouses, das Snowsight ausführt.