Snowflake Horizon Catalog¶

Wer profitiert vom Snowflake Horizon Catalog?¶

Snowflake Horizon Catalog bietet eine Lösung für alle, die an der Verwaltung, Erkennung oder Bearbeitung Inhalte einer Organisation beteiligt sind. Dazu zählen die folgenden Interessengruppen:

Datenverwalter (Data Stewards):

Datenverwalter möchten den Zugang zu Daten, Apps und Modellen ermöglichen und gleichzeitig sicherstellen, dass die richtigen Personen Zugriff auf die Inhalte haben. Sie möchten sensible Daten identifizieren und sie angemessen schützen. Es ist ihre Aufgabe, festzustellen, wer welche Daten verwendet, und die Qualität der Daten zu verstehen.

Mit Horizon Catalog können Datenverwalter die Inhalte der Organisation mit einer integrierten Lösung effektiv verwalten. Sie können Inhalte auf granularer Ebene schützen, um sie auf sichere Weise einer größeren Zielgruppe zugänglich zu machen. Sie können Tools verwenden, die die Sicherheit, die Datenqualität und den Fluss sensibler Daten überwachen, und sie können kontinuierlich überprüfen, wer auf Daten zugegriffen hat und ob dieser Zugriff auf sichere Weise erfolgt ist.

Datenteams:

Datenteams aus Analysten, Datenwissenschaftlern und Data Engineers kämpfen oft damit, die richtigen Daten, Apps oder Modelle für ihre Aufgabe zu finden. Nachdem sie ein Objekt gefunden haben, ist es schwer zu sagen, ob die Daten aktuell und vertrauenswürdig sind, was die Spalten bedeuten und wem sie gehören. Selbst wenn sie festgestellt haben, dass es sich um die richtigen Daten handelt, kann es Tage oder Wochen dauern, bis sie Zugang zu ihnen erhalten.

Horizon Catalog hilft Datenteams, relevante Inhalte schneller zu finden und gemeinsam zu bearbeiten. Horizon Catalog hilft diesen Teams, die Wertschöpfung aus den Inhalten zu steigern, indem es die Suche nach den richtigen Daten vereinfacht, indem es die Daten versteht, sodass Teams darauf vertrauen können, das sie den Anforderungen entsprechen, und indem es Aktionen auf Grundlage dieser Daten ausführt. Datenteams können die Zusammenarbeit verbessern und datengestützte Entscheidungen treffen, indem sie die Organisations-Freigabeangebote nutzen, um relevante und aktuelle Datenprodukte zu entdecken und einzubeziehen, die von ihren Kollegen freigegeben und über den Internal Marketplace automatisch bereitgestellt werden.

Umfang der Inhalte einer Organisation¶

Horizon Catalog verwaltet und macht mehr als nur Snowflake-Tabellen und Ansichten im internen Speicher eines Kontos auffindbar. Es deckt eine Reihe von Inhalten ab, darunter die folgenden:

• Daten, Anwendungen und Modelle in Konten in Ihrer gesamten Organisation, einschließlich Daten, die über Organisations-Freigabeangebote und den Internal Marketplace freigegeben werden.

• Daten aus den Apache Iceberg™-Tabellen und externen Tabellen.

• Datenfreigabe durch private Freigabeangebote durch vertrauenswürdige Partner.

• Öffentlich verfügbare Daten und jede Snowflake Native App auf Snowflake Marketplace

• Daten aus Anwendungen und Datensystemen von Drittanbietern, die über Konnektoren in Snowflake eingebracht werden.

Verwalten der Inhalte¶

Horizon Catalog bietet die Tools, die ein Datenverwalter benötigt, um die Daten, Anwendungen und Modelle einer Organisation zu verwalten.

Compliance:

Mit Horizon Catalog können Sie Folgendes tun:

• Prüfen des Zugriffsverlaufs und der Objektabhängigkeiten von Inhalten.

• Überwachen der Datenqualität mittels integrierter und benutzerdefinierter Datenmetrikfunktionen, die bei Problembehandlung und Visualisierung unterstützen. Sie können Warnungen oder Alerts auf der Grundlage der zentralen Tabelle konfigurieren, um Benachrichtigungen über die Datenqualität in nahezu in Echtzeit zu erhalten.

• Sehen Sie sich Data Lineage in Snowsight an, um die Tabellen- und Spaltenabfolge von einer Quelltabelle zu einer Zieltabelle zu verstehen, und setzen Sie Tags für Spalten, die entweder in einer nachgelagerten oder vorgelagerten Tabelle erscheinen.

• Erhalten Sie Einblicke in Objekte ^[1] über eine Benutzeroberfläche, über die Sie Informationen zu Tabellen und Ansichten erhalten können, ohne SQL zu schreiben. Sie können feststellen, wer auf die Daten zugreift, welche Abfragen am häufigsten auf die Daten zugreifen, ob jemand den Governance-Status der Daten geändert hat, ob es nachgelagerte oder vorgelagerte Abhängigkeiten zu den Daten gibt und ob die Daten als sensibel eingestuft wurden.

• Verfolgen Sie Daten durch die Überwachung von Tags, bei denen es sich um benutzerdefinierte Tags handeln kann, die mit Objekt-Tagging implementiert wurden, oder um Klassifizierungs-Tags (systemdefiniert oder benutzerdefiniert), die den Spalten auf der Grundlage des Inhalts der Spalte automatisch zugeordnet wurden.

_{[1] Derzeit in der privaten Vorschau.}

Sicherheit:

Mit Horizon Catalog können Sie Folgendes tun:

• Verwenden Sie das Trust Center, um den aktuellen Sicherheitsstatus eines Kontos zu ermitteln, einschließlich der Frage, ob es die vom Center for Internet Security (CIS) festgelegten Benchmarks erfüllt.

• Verwenden Sie End-zu-End-Verschlüsselung, um zu verhindern, dass Dritte die Daten im Ruhezustand oder bei der Übertragung zu und von Snowflake lesen können, und gleichzeitig die Angriffsfläche zu minimieren.

• Wählen Sie Ihre bevorzugte Authentifizierungsmethode wie OAuth oder Verbundauthentifizierung.

• Verwenden Sie eine granulare Berechtigungssteuerung, um den Zugriff auf Objekte zu kontrollieren.

• Definieren Sie Richtlinien für den Datenzugriff und wenden Sie diese an, um Sicherheit auf Spaltenebene und auf Zeilenebene bereitzustellen.

Datenschutz:

Mit Horizon Catalog können Sie Folgendes tun:

• Definieren und Zuweisen von Aggregationsrichtlinien und Projektionsrichtlinien, um zu steuern, welche Art von Abfragen auf freigegebenen Daten ausgeführt werden dürfen. Aggregationsrichtlinien verlangen von Analysten, Abfragen auszuführen, die Daten aggregieren, anstatt einzelne Zeilen abzurufen. Projektionsrichtlinien steuern, ob ein Analytiker eine SELECT-Anweisung zur Projektion einer bestimmten Spalte verwenden kann.

• Machen Sie hochsensible Daten für Analysten zugänglich und schützen Sie gleichzeitig die Identität von Personen. Differential Privacy (differentielle Privatsphäre) nutzt strenge Mathematik, um Ihre Daten vor raffinierten Angriffen auf die Privatsphäre zu schützen.

• Vereinfachen der Datenzusammenarbeit unter Wahrung der Privatsphäre mit einem Snowflake Data Clean Room.

• Erweitern Sie, wer Erkenntnisse aus sensiblen Daten gewinnen kann, indem Sie Daten mit ähnlichen Merkmalen synthetisch erzeugen, mit denen Sie direkt arbeiten können.

Inhalte entdecken und Maßnahmen ergreifen¶

Datenteams sind auf die Daten, Apps und Modelle der Organisation angewiesen, um ihre Aufgaben erfüllen zu können. Horizon Catalog gibt diesen Teams die Tools an die Hand, die sie benötigen, um Inhalte für ihre Aufgabe zu finden, diese Inhalte zu bewerten, um sicherzustellen, dass sie relevant und vertrauenswürdig sind, und um auf die Inhalte einzuwirken.

Erkennung:

Mit Horizon Catalog können Sie Folgendes tun:

• Nutzen Sie den Internal Marketplace, um Daten innerhalb Ihrer Organisation zu entdecken und zu nutzen. Der Internal Marketplace ist eine firmenexklusive Website, auf der Sie Organisations-Freigabeangebote entdecken können. Die Wiki-ähnlichen Freigabeangebotsseiten mit Datenwörterbüchern und validierten SQL-Beispielen vereinfachen die Identifizierung der von internen Teams kuratierten Datenprodukte. Es ist keine zusätzliche Einrichtung erforderlich – kopieren Sie einfach den Namen des Freigabeangebots, und die Daten sind sofort einsatzbereit.

• Suchen nach Daten, Apps und Modellen mit Universal Search, einer Benutzeroberfläche, mit der Sie Inhalte innerhalb und außerhalb Ihrer Organisation über natürliche Sprache finden können.

• Verstehen Sie schnell den Inhalt einer Tabelle und ihrer Spalten, indem Sie die AI-generierten Beschreibungen lesen. Objekteigentümer können auf eine einzige Schaltfläche in der Snowsight klicken, um diese Beschreibungen zu generieren, was die Wahrscheinlichkeit erhöht, dass Objekte und Spalten nützliche Kommentare enthalten. Diese nützlichen Kommentare verbessern die Auffindbarkeit der Objekte durch Universal Search.

• Durchsuchen öffentlich verfügbarer Daten auf Snowflake Marketplace.

• Bewerten der Relevanz von Daten mithilfe von Objekteinblicken in Snowsight: sup:[3], um die Popularität, den Zugriff, die Qualität und die Abhängigkeiten von Inhalten zu untersuchen.

_{[3] Derzeit in der privaten Vorschau.}

Zusammenarbeit:

Mit Horizon Catalog können Sie Folgendes tun:

• Tauschen Sie Daten innerhalb Ihrer Organisation auf dem Internal Marketplace und privat mit externen Geschäftspartnern über private Freigabeangebote aus.

• Kaufen und verkaufen Sie Datenprodukte auf Snowflake Marketplace.

• Verwalten Sie Ihre Freigabeangebote über eine Weboberfläche oder programmgesteuert mit SQL-Befehlen.

Anwendungsfall: Horizon Catalog in Aktion sehen¶

Angenommen, BazFin, ein großes Finanzdienstleistungsunternehmen, muss die Konformität, Datenqualität und Benutzerfreundlichkeit seiner Inhalte sicherstellen, die 10 PB Daten umfassen. BazFin verwendet Horizon Catalog, um Inhalte zu verwalten und zu entdecken.

Inhalte verwalten

Die Chief Data Officer (CDO) von BazFin muss den Stakeholdern des Unternehmens versichern, dass Geschäftsentscheidungen auf qualitativ hochwertigen Daten beruhen. Die CDO weist den Datenverwalter an, die systemdefinierten und benutzerdefinierten Datenmetrikfunktionen zu nutzen, um die Datenqualität regelmäßig zu überwachen. An jedem beliebigen Tag kann die CDO ein Dashboard anzeigen, das auf der Ereignistabelle basiert, um über die Datenqualität zu berichten.

Der Datenverwalter kehrt an seinen Arbeitsplatz zurück und öffnet das Trust Center, um den allgemeinen Sicherheitsstatus eines Snowflake-Kontos zu überprüfen, das kürzlich für eine neue Division erstellt wurde. Über eine integrierte Schnittstelle stellt er fest, dass jemand vergessen hat, eine Netzwerkrichtlinie zu definieren, um das Konto vor unbekanntem Netzwerkdatenverkehr zu schützen.

Inhalte entdecken und Maßnahmen ergreifen

Ein Analyst von BazFin möchte ein neues Dashboard erstellen, das die Top-Performer unter den Produkten anzeigt. Der Analyst geht zum Internal Marketplace und findet genau das richtige Organisations-Freigabeangebot mit den vom Finanzteam veröffentlichten Leistungsdaten. Der Analyst blättert durch ein Data Dictionary, um eine Vorschau der Daten zu erhalten, und beginnt dann sofort mit der Abfrage der Daten unter Verwendung des Unified Listing Locator des Freigabeangebots.

Der Analyst möchte auch die Daten von BazFin mit Daten Dritter anreichern. Unter Universal Search verwendet der Analyst den natürlichsprachlichen Suchbegriff income bands for zipcodes, der ein Datenprodukt aus dem Snowflake Marketplace zurückgibt, das er mit den Produktleistungsdaten von BazFin verknüpfen kann.