Data Lineage in Snowsight¶

Über Data Lineage in Snowsight¶

Sie können die Registerkarte Lineage in Snowsight verwenden, um die Beziehungen eines Objekts in Bezug auf Quell- und Zielobjekte zu verstehen. In der Lineage-Terminologie ist das Quellobjekt dem Zielobjekt „vorgelagert“ (upstream), und das Zielobjekt ist dem Quellobjekt „nachgelagert“ (downstream). Snowsight zeigt Objekte schrittweise an, einen Schritt nach dem anderen vor oder hinter Ihrer Auswahl.

Zum Beispiel in dieser SQL-Anweisung:

CREATE TABLE table2 AS SELECT col1 FROM table1;

table2 ist die Zieltabelle, die der Quelltabelle table1 nachgelagert ist. Die Spalte col1, die aus der Tabelle table1 stammt, ist in der Tabelle table2 enthalten; dies ist ebenfalls eine nachgelagerte Abstammungsbeziehung. Wenn Sie sich die Details der Tabelle table1 in Snowsight ansehen, wird auf der Registerkarte Lineage ein Pfeil angezeigt, der von table1 auf table2 zeigt, um die nachgelagerte Abstammungsbeziehung anzuzeigen. Wenn Sie stattdessen bei Tabelle table2 beginnen, zeigt ein Pfeil von table2 upstream zu table1. Sie können auch die ähnlichen Beziehungen für die Spalte col1 in beiden Tabellen sehen.

Anhand dieser Informationen können Sie nachvollziehen, wie sensible Daten von der Quelltabelle zur Zieltabelle fließen und Strategien zum Schutz sensibler Spalten entwickeln, z. B. mit einer Maskierungsrichtlinie, und die sensiblen Spalten kennzeichnen.

Unterstützte Operationen¶

Snowflake verfolgt die Data Lineage für diese Operationen auf Tabellen und tabellenähnlichen Objekten, einschließlich dynamischer Tabellen, externer Tabellen, Ansichten und materialisierter Ansichten:

• COPY INTO

• CREATE TABLE … AS SELECT (CTAS)

• CREATE TABLE … CLONE

• CREATE VIEW

• CREATE MATERIALIZED VIEW

• INSERT … SELECT …

• MERGE

• UPDATE, zum Beispiel:

  UPDATE mydb.schema1.table1 FROM mydb.schema2.table2 SET table1.col1 = table2.col1;
  

  Copy

Unterstützte Objekte¶

Data Lineage unterstützt Datenbewegungen und Abhängigkeiten zwischen tabellenähnlichen Objekten. Ein „tabellenähnliches“ Objekt ist jedes Objekt, das wie eine Tabelle abgefragt werden kann, einschließlich Tabellen (nichts ist so tabellenähnlich wie eine Tabelle). Zu den tabellenähnlichen Objekten gehören:

• Tabellen

• Dynamische Tabellen

• Externe Tabellen

• Iceberg-Tabellen

• Ansichten

• Materialisierte Ansichten

Stagingbereiche können ebenso wie die folgenden Objekte des maschinellen Lernens in Datenabstammungsbeziehungen einbezogen sein.

• Datensets

• Feature-Ansichten (die eigentlich dynamische Tabellen oder Ansichten in Snowflake sind)

• Modelle

Spaltenabstammung wird zwischen Spalten in zwei beliebigen tabellenähnlichen Objekten unterstützt. Sie können z. B. eine Spalte in einer Tabelle auswählen, um die nachgelagerte Spaltenabstammung anzuzeigen, die die anderen tabellenähnlichen Objekte zeigt, in denen diese Spalte erscheint.

Außerdem können Sie die Zuordnungen von Tags und Maskierungsrichtlinien sehen, wenn Sie eine Rolle verwenden, die über Berechtigungen für die Verwaltung von Tags und Maskierungsrichtlinien verfügt.

Umbenannte und gelöschte Tabellenknoten¶

Umbenannte und gelöschte Tabellen werden im Diagramm angezeigt; gelöschte Tabellen sind grau dargestellt.

Speichern und Auffüllen der Abstammungsinformationen¶

Das Diagramm Lineage liefert Informationen zur Abstammung in Echtzeit; verfolgte Operationen erscheinen ohne Verzögerung in der Snowsight UI. Verlaufsinformationen werden wie folgt aufbewahrt:

• Die Spaltenabstammung bleibt ein Jahr lang erhalten.

• Die Objektabstammung bleibt ein Jahr lang erhalten.

• Die Abstammung gelöschter Objekte wird 14 Tage lang aufbewahrt.

Bei dieser Vorschau werden Abhängigkeiten, die keine Datenbewegung beinhalten, bis zum Speicherlimit aus Ihrem Snowflake-Aktivitätsverlauf aufgefüllt. Wenn zum Beispiel eine Ansicht vor sechs Monaten aus einer Tabelle erstellt wurde, ist diese Abhängigkeit als nachgelagerte Abstammungsbeziehung von der Tabelle und als vorgelagerte Beziehung von der Ansicht sichtbar. Tabelle-zu-Tabelle-Beziehungen (Datenbewegungen), die vor dieser Vorschau (die im November 2024 startete) stattfanden, werden möglicherweise nicht erfasst.

Einschränkungen¶

• Die Registerkarte Lineage ist für die folgenden Arten von Objekten nicht verfügbar:

  • Objekte in einer gemeinsamen Datenbank.

  • Objekte in der gemeinsamen SNOWFLAKE-Datenbank.

  • Objekte im INFORMATION_SCHEMA einer Datenbank.

• Dynamische Tabellen erscheinen im Verlaufsdiagramm für andere Objekte, aber die Registerkarte Lineage erscheint nicht für dynamische Tabellen selbst.

• Abfrageinformationen sind nur für Datenbewegungsbeziehungen verfügbar, nicht für Objektabhängigkeiten. Nur ein Benutzer mit der Rolle ACCOUNTADMIN kann Abfrageinformationen einsehen. Abfrageinformationen sind für andere Rollen nicht verfügbar.

Zugriff auf Abstammungsinformationen in Snowsight¶

Um auf die Registerkarte Lineage zuzugreifen und alle vor- und nachgelagerten Abstammungsobjekte und Abhängigkeiten eines Objekts anzuzeigen, verwenden Sie eine Rolle mit den folgenden Berechtigungen:

• Jegliche Berechtigung für die Objekte, für die Sie die Abstammung auswerten möchten, wie z. B. SELECT für eine Tabelle.

• USAGE für die Datenbank und das Schema, welche das Objekt enthalten.

• VIEW LINEAGE für das Konto

Das folgende Beispiel erstellt eine kundenspezifische Rolle und gewährt ihr die erforderlichen Berechtigungen:

USE ROLE ACCOUNTADMIN;
CREATE ROLE lineage_role;
GRANT VIEW LINEAGE ON ACCOUNT TO ROLE lineage_role;
GRANT SELECT ON mydb.sch.mytable TO ROLE lineage_role;

Wenn Sie keine Berechtigung für ein vor- oder nachgelagertes Objekt im Abstammungsdiagramm haben, wird das Objekt grau angezeigt und Sie erhalten die Meldung, dass Sie keine ausreichenden Berechtigungen zum Anzeigen des Objekts haben. Bitten Sie den Administrator Ihres Snowflake-Kontos, Ihnen Berechtigungen für das Objekt zu erteilen. Fragen Sie ggf. auch die globale Berechtigung VIEW LINEAGE an.

Das graue Objekt bedeutet nicht, dass es sich um einen Endknoten im Abstammungsdiagramm handelt. Es zeigt lediglich an, dass Sie die Abstammung nicht weiter upstream oder downstream von diesem Punkt aus einsehen können, da Sie nicht die Berechtigung haben, die Abstammung dieses Objekts abzurufen. Diese Verhaltensweise gilt auch für Objekte und Spalten, die durch andere Zugriffsrichtlinien geschützt sind.

Überwachen Sie die Datenabstammung, und markieren Sie Spalten¶

Gehen Sie wie folgt vor, um die Datenabstammung für Tabellen und tag-sensitive Spalten zu überwachen:

1. Verwenden Sie eine Rolle, die über die erforderlichen Berechtigungen verfügt, um die vor- und nachgelagerte Abstammung eines Objekts anzuzeigen.

2. Navigieren Sie in Snowsight zu Data » Databases.

3. Wählen Sie eine Datenbank, ein Schema und ein von unterstütztes Objekt.

4. Wählen Sie die Registerkarte Lineage aus.

5. Wählen Sie ein Warehouse aus, falls noch kein Warehouse verwendet wird. Für die Erstellung eines Abstammungsdiagramms ist ein Warehouse erforderlich.

   • Das Abstammungsdiagramm beginnt mit dem Objekt und einer Ebene von nachgelagerten und vorgelagerten Objekten, sofern zutreffend. Ein Pfeil zeigt von links nach rechts, um anzuzeigen, dass eine Spalte in einer Zieltabelle eine Spalte aus einer Quelltabelle enthält. Sie können eine Tabelle auswählen und ihre Spalten anzeigen.

   • Wenn eine Maskierungsrichtlinie für eine Spalte festgelegt wurde und ein Fehler mit der Richtlinie vorliegt, können Sie die Tag-Zuweisungen in dieser Prozedur abschließen und zur Registerkarte Columns (für die Tabelle oder Ansicht) wechseln, um die Zuweisung der Maskierungsrichtlinie zu bearbeiten. Wenn Sie den Mauszeiger über Policy Error bewegen, erscheint eine Erklärung des Fehlers.

6. Um weitere Details zu einer bestimmten Tabellenspalte im Abstammungsdiagramm anzuzeigen, wählen Sie eine Tabelle aus. Bewegen Sie den Mauszeiger in der angezeigten Detailansicht über eine Spalte, und wählen Sie View Lineage oder View Dependencies, je nachdem, welches Diagramm Sie ausgewählt haben.

   Wenn Ihre Tabelle viele Spalten hat, können Sie den Suchfilter verwenden, um die Spalte zu finden.

7. Wählen Sie im Dialog View Column Lineage Downstream Lineage oder Upstream Lineage.

   • Prüfen Sie die Spalten- und Tabellendetails sowie die der Spalte zugewiesenen Tags.

     Die Tags der Spalte sind mit der Quellspalte verknüpft und damit, ob die Zielspalte Tags hat oder nicht.

   • Wenn eine Tabelle eine Spalte enthält, die nicht dort sein sollte, ändern Sie die SQL-Anweisung, mit der die Tabelle erstellt wird.

   • Wenn einer Tabelle ein Tag einer Spalte zugewiesen wurde, die dieses Tag nicht haben sollte, aktualisieren Sie die SQL-Anweisung, die das Tag der Spalte zuweist, oder verwenden Sie Snowsight, um die Tag-Zuweisung zu aktualisieren.

   Wenn Sie die Rolle ACCOUNTADMIN oder eine Rolle mit der globalen Berechtigung APPLY TAG verwenden, erscheint das Banner Review Columns and Apply Tags. Um Spalten mit Tags zu versehen, gehen Sie wie folgt vor:

8. Wählen Sie im Banner Review Columns and Apply Tags.

   Änderungen, die noch nicht übernommen wurden, werden mit verschiedenen Farben und Mustern hervorgehoben:

   • Neue Tags, die in der Spalte gesetzt werden sollen, haben einen gestrichelten blauen Rahmen.

   • Zu aktualisierende Tag-Werte haben einen gelben Rahmen.

   Wenn für die Spalte auf der Grundlage der Tabelle, die Sie im Diagramm ausgewählt haben, noch keine Tags gesetzt sind, wird das Banner nicht angezeigt.

9. Wählen Sie Apply Tags, um die Tags anzuwenden und die Tag-Werte in den Spalten zu aktualisieren.

   Wenn keine Tags für die Spalten gesetzt werden können, wird eine Fehlermeldung mit der Anzahl der Spalten angezeigt, für die keine Tags gesetzt werden konnten. Wählen Sie Review Columns and Apply Tags, um den vorherigen Schritt zum Zuweisen von Tags zu wiederholen.

   Nachdem Sie die Tags den Spalten zugewiesen haben, verschwindet das Banner.