Tutorial: Einrichten des bidirektionalen Zugriffs auf Apache Iceberg™-Tabellen in Databricks Unity Catalog¶

Einführung¶

In diesem Tutorial erfahren Sie, wie Sie Snowflake mit einem Katalog in Databricks Unity Catalog verbinden, indem Sie eine beschreibbare, mit dem Katalog verknüpfte Datenbank mit vom Katalog bereitgestellten Anmeldeinformationen verwenden. Dieses Setup ermöglicht die bidirektionale Zusammenarbeit an Daten zwischen Snowflake und Databricks.

Eine mit einem Katalog verknüpfte Datenbank ist eine Snowflake-Datenbank, die mit einem externen Iceberg REST-Katalog verbunden ist, wie z. B. einem Katalog in Unity Catalog. Snowflake synchronisiert automatisch mit dem externen Katalog, um Namespaces und Iceberg-Tabellen zu erkennen, und registriert die Remotetabellen in der mit dem Katalog verknüpften Datenbank. Wenn eine mit einem Katalog verknüpfte Datenbank beschreibbar ist, unterstützt sie auch das Erstellen und Löschen von Schemas oder Iceberg-Tabellen.

Mit Anmeldeinformationen über den Katalog für Iceberg-Tabellen können Sie Snowflake Zugriff auf Ihre Tabellendaten und Metadaten im Cloudspeicher geben, ohne ein externes Volume zu verwenden. Wenn Sie Snowflake mit einem Katalog in Unity Catalog verbinden, indem Sie vom Katalog generierte Anmeldeinformationen verwenden, stellt Unity Catalog Snowflake temporäre Anmeldeinformationen für den Zugriff auf die Tabellendaten im Cloudspeicher zur Verfügung.

Mit diesem Setup können Sie die folgenden Aufgaben ausführen:

Verwenden Sie Snowflake, um Iceberg-Tabellen abzufragen, die von Unity Catalog verwaltet werden.
Verwenden Sie Snowflake, um Daten in Iceberg-Tabellen einzufügen, die von Unity Catalog verwaltet werden.
Verwenden Sie Snowflake, um Iceberg-Tabellen zu erstellen, die von Unity Catalog verwaltet werden.
Verwenden Sie Databricks, um mit von Unity Catalog verwalteten Iceberg-Tabellen zu arbeiten, die Sie von Snowflake aus erstellt oder geändert haben.

Um die Schritte in diesem Tutorial für die Arbeit mit Snowflake ausführen zu können, verwenden Sie ein Arbeitsblatt in Snowsight oder einen Snowflake-Client wie SnowSQL. Sie können die Codebeispiele kopieren und einfügen und sie dann ausführen. Um die Schritte in diesem Tutorial für die Arbeit mit Databricks auszuführen, verwenden Sie Ihren Databricks-Arbeitsbereich, um die Codebeispiele zu kopieren und einzufügen, oder folgen Sie den Anweisungen in der verlinkten Databricks-Dokumentation.

Lerninhalte¶

In diesem Tutorial lernen Sie Folgendes:

Erstellen Sie einen Katalog in Unity Catalog.
Konfigurieren Sie die von Snowflake zu verwendenden Authentifizierungsdaten, indem Sie einen Dienstprinzipal und ein OAuth-Geheimnis in Databricks hinzufügen.
Verwenden Sie Databricks, um Snowflake Zugriff auf Ihren Katalog in Unity Catalog zu ermöglichen.
Erstellen Sie eine Katalogintegration in Snowflake, die automatische Anmeldeinformationen verwendet, um Snowflake mit Ihrem Katalog in Unity Catalog zu verbinden.
Erstellen Sie eine beschreibbare, mit dem Katalog verknüpfte Datenbank in Snowflake, die mit Ihrem Katalog in Unity Catalog synchronisiert wird und es Ihnen ermöglicht, von Snowflake aus in Ihren Katalog in Unity Catalog zu schreiben.
Arbeiten Sie mit von Unity Catalog verwalteten Iceberg-Tabellen aus Snowflake, was das Abfragen und Einfügen von Daten in diese Tabellen und das Erstellen einer von Unity Catalog verwalteten Iceberg-Tabelle aus Snowflake umfasst.
Arbeiten Sie mit von Unity Catalog verwalteten Iceberg-Tabellen aus Databricks.

Voraussetzungen¶

Bevor Sie beginnen, sollten Sie mit den folgenden Konzepten vertraut sein:

Objektbezeichner in Snowflake und deren Anforderungen.
Apache Iceberg und Iceberg-Tabellen in Snowflake. Weitere Informationen dazu finden Sie unter Apache Iceberg™-Tabellen.
Databricks Unity Catalog. Weitere Informationen dazu finden Sie unter Was ist Unity Catalog? in der Databricks-Dokumentation.

Sie benötigen:

Databricks

Ein Databricks-Konto, das auf AWS, Azure oder Google Cloud gehostet wird.
Ein Databricks-Arbeitsbereich mit aktiviertem Unity Catalog.

Eine Anleitung zum Aktivieren eines Arbeitsbereichs für Unity Catalog finden Sie unter dem Thema, wo Ihr Databricks-Konto gehostet wird:
- Databricks auf AWS: Databricks auf AWS: Aktivieren eines Arbeitsbereichs für Unity Catalog
- Azure Databricks: Azure Databricks: Aktivieren eines Arbeitsbereichs für Unity Catalog
- Databricks in Google Cloud: Databricks in Google Cloud: Aktivieren eines Arbeitsbereichs für Unity Catalog
Erforderlicher Zugriff:
- Metastore-Admin-Berechtigung oder die Berechtigung CREATE CATALOG für den Metastore, um einen Katalog in Unity Catalog zu erstellen.
  
  Bemerkung
  
  In diesem Tutorial erstellen Sie einen Katalog in Unity Catalog, wodurch Sie zum Eigentümer des Katalogs werden. Als Katalogeigentümer können Sie einem Databricks-Dienstprinzipal Berechtigungen für Ihren Katalog erteilen, was Sie in diesem Tutorial tun werden.
- Berechtigung „Kontoadministrator“ oder „Arbeitsbereichsadministrator“ für Ihren Databricks-Arbeitsbereich, damit Sie einen Dienstprinzipal und ein OAuth-Geheimnis erstellen können
- Metastore-Administratorberechtigung, um den externen Datenzugriff auf den Metastore zu aktivieren

Snowflake

Snowflake-Benutzer mit einer Rolle, die die Berechtigungen hat, die folgenden Aktionen auszuführen:
- CREATE CATALOG INTEGRATION (Apache Iceberg™ REST)
- CREATE DATABASE (katalogverknüpft)
- CREATE ICEBERG TABLE
- CREATE WAREHOUSE
Bei Verwendung eines 30-Tage-Testkontos können Sie sich als der Benutzer anmelden, der für das Konto erstellt wurde. Dieser Benutzer hat die Rolle mit den Berechtigungen, die zum Erstellen der Objekte erforderlich sind.

Wenn Sie keinen Benutzer mit den erforderlichen Berechtigungen haben, bitten Sie jemanden, der über die erforderlichen Berechtigungen verfügt, einen Benutzer für Sie zu erstellen. Benutzer mit der Rolle ACCOUNTADMIN können neue Benutzer erstellen und ihnen die erforderlichen Berechtigungen erteilen.

Schritt 1: Einen Katalog in Databricks Unity Catalog erstellen¶

Führen Sie in Databricks die folgenden -Anweisungen aus, um einen example_sales_catalog-Katalog in Unity Catalog mit den folgenden Objekten zu erstellen:

Ein customers-Schema
Eine customer_accounts-Tabelle mit einigen Beispieldaten, die im customers-Schema verschachtelt sind

CREATE CATALOG example_sales_catalog;

CREATE SCHEMA example_sales_catalog.customers;

CREATE TABLE example_sales_catalog.customers.customer_accounts (
  customer_account_id INT,
  customer_id INT,
  account_status STRING,
  created_at TIMESTAMP,
  updated_at TIMESTAMP
) USING ICEBERG;

INSERT INTO example_sales_catalog.customers.customer_accounts VALUES
  (1, 1001, 'Active', CURRENT_TIMESTAMP(), CURRENT_TIMESTAMP()),
  (2, 1002, 'Active', CURRENT_TIMESTAMP(), CURRENT_TIMESTAMP()),
  (3, 1003, 'Inactive', CURRENT_TIMESTAMP(), CURRENT_TIMESTAMP()),
  (4, 1004, 'Active', CURRENT_TIMESTAMP(), CURRENT_TIMESTAMP()),
  (5, 1005, 'Pending', CURRENT_TIMESTAMP(), CURRENT_TIMESTAMP());

Copy

Schritt 2: Einen Dienstprinzipal in Databricks hinzufügen¶

In diesem Schritt fügen Sie einen Dienstprinzipal in Databricks hinzu.

Damit Snowflake sich mit Unity Catalog authentifizieren kann, müssen Sie einen Dienstprinzipal in Databricks hinzufügen und dann ein OAuth-Geheimnis für Ihren Dienstprinzipal in Databricks erstellen.

Einen Dienstprinzipal in Databricks hinzufügen¶

Um einen Dienstprinzipal hinzuzufügen, lesen Sie das Thema, wo Ihr Databricks-Konto gehostet wird:
- Databricks auf AWS: Databricks auf AWS: Hinzufügen von Dienstprinzipalen zu Ihrem Konto
- Azure Databricks: Azure Databricks: Hinzufügen von Dienstprinzipalen zu Ihrem Konto
- Databricks in Google Cloud: Databricks in Google Cloud: Hinzufügen von Dienstprinzipalen zu Ihrem Konto
Kopieren Sie den Anwendungs-ID-Wert für Ihren Dienstprinzipal in einen Texteditor und speichern Sie ihn an einem sicheren Ort. Sie geben diesen Wert später an, wenn Sie eine Katalogintegration in Snowflake erstellen.

Erstellen eines OAuth-Geheimnisses für Ihren Dienstprinzipal¶

Informationen zum Erstellen eines OAuth-Geheimnisses für Ihren Dienstprinzipal finden Sie im Artikel zur Frage, wo Ihr Databricks-Konto gehostet wird:
- Databricks auf AWS: Databricks auf AWS: Erstellen eines OAuth-Geheimnisses
- Azure Databricks: Azure Databricks: Erstellen eines OAuth-Geheimnisses
- Databricks in Google Cloud: Databricks in Google Cloud: Erstellen eines OAuth-Geheimnisses
Kopieren Sie den Wert Secret, den Sie generiert haben, in einen Texteditor, und speichern Sie ihn sicher. Sie geben diesen Wert später an, wenn Sie eine Katalogintegration in Snowflake erstellen.

Wichtig

Das Clientgeheimnis wird nur einmal angezeigt. Stellen Sie sicher, dass Sie es kopieren, bevor Sie das Dialogfeld schließen.

Im nächsten Schritt erteilen Sie dem von Ihnen erstellten Dienstprinzipal Berechtigungen, die Snowflake den Zugriff auf Ihren``example_sales_catalog``-Katalog in Unity Catalog ermöglichen.

Schritt 3: Aktivieren des Snowflake Zugriffs auf Unity Catalog¶

In diesem Schritt verwenden Sie Databricks, um Snowflake Zugriff auf Ihren Katalog in Unity Catalog zu ermöglichen.

Um Snowflake Zugriff auf Ihren Katalog in Unity Catalog über automatische Anmeldeinformationen zu ermöglichen, müssen Sie zunächst auf Metastore-Ebene den externen Datenzugriff auf dem Metastore aktivieren. Als Nächstes müssen Sie Ihrem Dienstprinzipal Unity Catalog-Berechtigungen für Ihren Katalog gewähren.

Aktivieren des externen Datenzugriffs auf den Metastore¶

Aktivieren Sie zunächst den externen Datenzugriff auf den Metastore.

Eine Anleitung zum Aktivieren des externen Datenzugriffs auf den Metastore finden Sie unter dem Thema, wo Ihr Databricks-Konto gehostet wird:

Gewähren des Dienstprinzipal-Zugriffs auf Ihren Katalog¶

Als Nächstes müssen Sie Ihrem Dienstprinzipal Unity Catalog-Berechtigungen erteilen. Sie müssen Ihrem Dienstprinzipal diese Berechtigungen erteilen, um Snowflake Zugriff auf den Katalog zu gewähren, basierend auf den von Ihnen angegebenen Berechtigungen.

Verwenden Sie den Catalog Explorer, um den example_sales_catalog-Katalog auszuwählen, und erteilen Sie dann Ihrem Dienstprinzipal die folgenden Berechtigungen auf Katalogebene:

Um Berechtigungen mit dem Databricks Catalog Explorer zu erteilen, lesen Sie das Thema, wo Ihr Databricks-Konto gehostet wird:

Wichtig

Im Feld Principals müssen Sie den Namen Ihres Dienstprinzipals eingeben, nicht die E-Mail-Adresse eines Benutzers oder den Namen einer Gruppe.

Führen Sie die folgenden Anweisungen aus, um Ihrem Dienstprinzipal die für den Abschluss dieses Tutorials erforderlichen Berechtigungen zu erteilen. Unter Beschreibung der Berechtigungen finden Sie eine Beschreibung der einzelnen Berechtigungen.

GRANT CREATE TABLE ON CATALOG example_sales_catalog TO `<application_id>`;
GRANT EXTERNAL USE SCHEMA ON CATALOG example_sales_catalog TO `<application_id>`;
GRANT MODIFY ON CATALOG example_sales_catalog TO `<application_id>`;
GRANT SELECT ON CATALOG example_sales_catalog TO `<application_id>`;
GRANT USE CATALOG ON CATALOG example_sales_catalog TO `<application_id>`;
GRANT USE SCHEMA ON CATALOG example_sales_catalog TO `<application_id>`;

Copy

Wobei:

<application_id> is the Application ID for your service principal, which you copied in a previous step. 1aaa1a1a-11a1-1111-1111-1a11111aaa1a ist ein Beispiel einer Anwendungs-ID für einen Dienstprinzipal.

Beschreibung der Berechtigungen¶

Die folgende Tabelle beschreibt die einzelnen Unity Catalog-Berechtigungen, die Sie Ihrem Dienstprinzipal gewährt haben, und welche Zugriffsberechtigungen Snowflake hier jeweils erhält:

Berechtigung	Beschreibung
`CREATE TABLE`	Ermöglicht Snowflake, neue Iceberg-Tabellen im Katalog zu erstellen. Erforderlich, um von Unity Catalog verwaltete Iceberg-Tabellen in Snowflake zu erstellen.
`EXTERNAL USE SCHEMA`	Ermöglicht Unity Catalog, temporäre Anmeldeinformationen mit Bereichen für den Zugriff auf Tabellendaten im Cloudspeicher zu generieren und Snowflake zur Verfügung zu stellen. Wichtig Diese Berechtigung ist erforderlich, wenn Sie bereitgestellte Anmeldeinformationen mit einer katalogverknüpften Datenbank verwenden.
`MODIFY`	Ermöglicht Snowflake das Einfügen, Aktualisieren oder Löschen von Daten in bestehenden Tabellen. Erforderlich, um Daten aus Snowflake in von Unity Catalog verwaltete Iceberg-Tabellen zu schreiben.
`SELECT`	Ermöglicht Snowflake, Tabellen abzufragen und auf Tabellenmetadaten zuzugreifen. Erforderlich für alle Vorgänge in Snowflake, einschließlich des Lesens von Daten und des Erkennens von Tabellen in der katalogverknüpften Datenbank.
`USE CATALOG`	Ermöglicht Snowflake den Zugriff auf den Katalog. Erforderlich, um eine Verbindung zu Objekten im Unity Catalog herzustellen und damit zu interagieren.
`USE SCHEMA`	Ermöglicht Snowflake den Zugriff auf Schemas (Namespaces) innerhalb des Katalogs. Erforderlich für das Anzeigen und Verwenden von Tabellen in bestimmten Schemas.

Schritt 4: Erfassen von Arbeitsbereichsinformationen mit Databricks¶

In diesem Schritt verwenden Sie Databricks, um Informationen über Ihren Arbeitsbereich zu erfassen. Sie benötigen diese Informationen, um sie später anzugeben, wenn Sie eine Katalogintegration in Snowflake erstellen.

Erfassen Sie die folgenden Informationen aus Ihrem Databricks-Arbeitsbereich:

Databricks-Arbeitsbereichs-URL: Dies ist die URL, die Sie für den Zugriff auf Ihren Databricks-Arbeitsbereich verwenden.

Anweisungen, wie Sie diese URL finden können, finden Sie im Artikel zur Frage, wo Ihr Databricks-Konto gehostet wird:
- Databricks auf AWS: Databricks auf AWS: Namen der Arbeitsbereichsinstanzen, URLs und IDs
- Azure Databricks: Azure Databricks: Bestimmen der URL pro Arbeitsbereich
- Databricks in Google Cloud: Databricks in Google Cloud: Namen der Arbeitsbereichsinstanzen, URLs und IDs
Hier ist ein Beispiel für eine Databricks-Arbeitsbereichs-URL für jede Cloudplattform:
- Databricks auf AWS: https://dbc-a1a1a1a1-a1a1.cloud.databricks.com
- Azure Databricks: https://adb-1111111111111111.1.azuredatabricks.net
- Databricks in Google Cloud: https://1111111111111111.1.gcp.databricks.com
Katalogname in Unity Catalog: Der Name des Katalogs in Unity Catalog, auf den Sie von Snowflake aus zugreifen möchten: example_sales_catalog.
Anwendungs-ID: Anwendungs-ID für den Dienstprinzipal, den Sie in Databricks hinzugefügt haben.
OAuth-Geheimnis: Das OAuth-Geheimnis für den Dienstprinzipal, den Sie in Databricks hinzugefügt haben.

Kopieren Sie diese Werte in einen Texteditor. Sie verwenden diese Werte, wenn Sie eine Katalogintegration in Snowflake erstellen.

Schritt 5: Einrichten einer Warehouse- und Katalogintegration in Snowflake¶

Richten Sie in Snowflake Ihre Umgebung ein, indem Sie eine Warehouse- und Katalogintegration für dieses Tutorial erstellen.

Warehouse erstellen¶

Führen Sie die folgenden Anweisungen aus, um ein Warehouse zu erstellen.

CREATE WAREHOUSE catalog_linked_database_tutorial_wh
  WAREHOUSE_TYPE = STANDARD
  WAREHOUSE_SIZE = XSMALL;

USE WAREHOUSE catalog_linked_database_tutorial_wh;

Copy

Katalogintegration erstellen¶

Erstellen Sie in Snowflake eine Katalogintegration, die Snowflake mit Ihrem example_sales_catalog-Katalog in Unity Catalog mithilfe von OAuth-Authentifizierung und Zugriffsdaten verbindet.

Um eine Katalogintegration für die Verbindung zu Databricks Unity Catalog zu erstellen, verwenden Sie den Befehl CREATE CATALOG INTEGRATION (Apache Iceberg™ REST).

Im folgenden Beispiel wird eine REST-Katalogintegration für die Verbindung mit Ihrem example_sales_catalog-Katalog mithilfe von OAuth erstellt:

CREATE OR REPLACE CATALOG INTEGRATION my_unity_catalog_int_vended_creds
  CATALOG_SOURCE = ICEBERG_REST
  TABLE_FORMAT = ICEBERG
  REST_CONFIG = (
    CATALOG_URI = '<databricks_workspace_url>/api/2.1/unity-catalog/iceberg-rest'
    CATALOG_NAME = 'example_sales_catalog'
    ACCESS_DELEGATION_MODE = VENDED_CREDENTIALS
  )
  REST_AUTHENTICATION = (
    TYPE = OAUTH
    OAUTH_TOKEN_URI = '<databricks_workspace_url>/oidc/v1/token'
    OAUTH_CLIENT_ID = '<client_id>'
    OAUTH_CLIENT_SECRET = '<oauth_secret>'
    OAUTH_ALLOWED_SCOPES = ('all-apis')
  )
  ENABLED = TRUE;

Copy

Wobei:

<databricks_workspace_url> ist Ihre Databricks-Arbeitsbereichs-URL, die Sie im vorherigen Schritt gefunden haben.
example_sales_catalog ist der Name Ihres Katalogs in Unity Catalog, mit dem Sie eine Verbindung herstellen möchten.
<client_id> ist die OAuth-Client ID für den Dienstprinzipal, den Sie in Databricks erstellt haben.

Wichtig

In Databricks wird dieser Wert als Anwendungs-ID und nicht als „Client-ID“ bezeichnet.
<oauth_secret> ist das OAuth-Geheimnis, das Sie für den in Databricks erstellten Dienstprinzipal generiert haben.

Katalogintegration überprüfen¶

Zur Überprüfung der Konfiguration Ihrer Katalogintegration rufen Sie die Funktion SYSTEM$VERIFY_CATALOG_INTEGRATION auf.

Weitere Informationen und ein Beispiel finden Sie unter Verwenden von SYSTEM$VERIFY_CATALOG_INTEGRATION zur Überprüfung der Konfiguration Ihrer Katalogintegration.

Als Nächstes geben Sie die erstellte Katalogintegration an, wenn Sie eine katalogverknüpfte Datenbank erstellen, die Ihren example_sales_catalog-Katalog in Unity Catalog erkennt und sich mit diesem synchronisiert.

Schritt 6: Eine mit dem Katalog verbundene Datenbank erstellen¶

In diesem Schritt erstellen Sie eine mit dem Katalog verknüpfte Datenbank, die über die im vorherigen Schritt erstellte Katalogintegration eine Verbindung zu Ihrem example_sales_catalog-Katalog in Unity Catalog herstellt.

Erstellen Sie eine mit einem Katalog verknüpfte Datenbank mit dem Befehl CREATE DATABASE (katalogverknüpft):

Im folgenden Beispiel wird eine mit einem Katalog verknüpfte Datenbank erstellt, in beschreibbar ist, die automatisch erzeugte Anmeldeinformationen verwendet und die einen blockierten Namespace angibt.

CREATE DATABASE unity_linked_db
  LINKED_CATALOG = (
    CATALOG = 'my_unity_catalog_int_vended_creds'
    BLOCKED_NAMESPACES = ('information_schema')
  );

Copy

Wobei:

my_unity_catalog_int_vended_creds ist der Name der Katalogintegration, die Sie im vorherigen Schritt erstellt haben.

Bemerkung

Sie müssen den Parameter ALLOWED_WRITE_OPERATIONS nicht angeben, um eine mit einem Katalog verknüpfte beschreibbare Datenbank zu erstellen. Der Grund dafür ist, dass die Voreinstellung für diesen Parameter ALL lautet. Das bedeutet, dass Ihre mit einem Katalog verknüpfte Datenbank beschreibbar ist.
BLOCKED_NAMESPACES = ('information_schema') verhindert, dass sich Snowflake mit dem information_schema-Schema in Ihrem Unity-Katalog synchronisiert. Andernfalls gibt dieses Schema irrelevante SQL-Ausführungsfehler zurück, wenn Sie später den Status der Katalogsynchronisierung überprüfen. Diese Fehler sind irrelevant, da die unter diesem Schema verschachtelten Tabellen nicht mit Iceberg kompatibel sind.

Die im information_schema-Schema verschachtelten Tabellen und Ansichten sind integrierte Databricks-Tabellen und -Ansichten und keine Iceberg-Tabellen.
Der Beispielcode konfiguriert Ihre katalogverknüpfte Datenbank mit Zugriffsdaten, so dass Sie kein externes Volume angeben müssen.
Die Standardeinstellung für den Parameter ALLOWED_WRITE_OPERATIONS lautet ALL. Das bedeutet, dass Ihre mit dem Katalog verknüpfte Datenbank Lese- und Schreiboperationen unterstützt.

Nachdem Sie eine katalogverknüpfte Datenbank erstellt haben, synchronisiert Snowflake automatisch mit Ihrem Unity-Katalog, um Namespaces und Iceberg-Tabellen zu erkennen. Das standardmäßige Synchronisierungsintervall beträgt 30 Sekunden.

Schritt 7: Überprüfen des Status der Katalogsynchronisierung¶

Um zu überprüfen, ob Snowflake Ihren Katalog in Unity Catalog erfolgreich mit Ihrer Datenbank verknüpft hat, verwenden Sie die Funktion SYSTEM$CATALOG_LINK_STATUS:

SELECT SYSTEM$CATALOG_LINK_STATUS('unity_linked_db');

Copy

Die Funktion gibt Informationen zum Synchronisierungsstatus zurück, einschließlich aller Tabellen, die nicht synchronisiert werden konnten.

Wenn die Synchronisierung erfolgreich war, sollten die Namespaces Ihres Unity-Katalogs als Schemas in der mit dem Katalog verknüpften Datenbank angezeigt werden, und Iceberg-Tabellen werden unter ihren jeweiligen Schemas angezeigt.

Bemerkung

Um Tabellen zu identifizieren, die Snowflake erstellt hat, aber nicht initialisieren konnte, verwenden Sie den Befehl SHOW ICEBERG TABLES. Weitere Informationen dazu finden Sie unter Identifizieren von Tabellen, die erstellt wurden, aber nicht initialisiert werden konnten.

Schritt 8: Verwenden von Iceberg-Tabellen¶

Nachdem die Katalogsynchronisierung abgeschlossen ist, können Sie Daten direkt von Snowflake aus in Ihre von Unity Catalog verwalteten Iceberg-Tabellen abfragen und einfügen und dann aus Snowflake heraus eine von Unity Catalog verwaltete Iceberg-Tabelle erstellen.

Sie können dann Databricks verwenden, um mit den Tabellen zu arbeiten, die Sie in Snowflake erstellt oder geändert haben.

Abfragen von Iceberg-Tabellen von Snowflake aus¶

Um eine von Unity Catalog verwaltete Iceberg-Tabelle abzufragen, gehen Sie wie folgt vor:

Wählen Sie die mit dem Katalog verknüpfte Datenbank aus.
```
USE DATABASE unity_linked_db;
```
Copy
Fragen Sie eine Tabelle in Ihrem Katalog in Unity Catalog ab.

Im folgenden Beispiel wird die Tabelle customer_accounts abgefragt, die unter dem Schema customers der obersten Ebene im example_sales_catalog-Katalog in Unity Catalog verschachtelt ist.
```
SELECT * FROM customers.customer_accounts
  LIMIT 20;
```
Copy

Bemerkung

Die Anforderungen für das Identifizieren von Objekten in einer mit dem Katalog verknüpften Datenbank finden Sie unter Requirements for identifier resolution in a catalog-linked database.

Daten in Iceberg-Tabellen von Snowflake aus einfügen¶

Sie können Snowflake mit einer Datenbank, die mit einem Katalog verknüpft ist, verwenden, um Daten in Ihre von Unity Catalog verwalteten Iceberg-Tabellen einzufügen.

Um Daten von Snowflake aus in eine von Unity Catalog verwaltete Iceberg-Tabelle einzufügen, gehen Sie wie folgt vor:

Wählen Sie die mit dem Katalog verknüpfte Datenbank aus.
```
USE DATABASE unity_linked_db;
```
Copy

Fügen Sie Daten in die Tabelle customer_accounts ein.

INSERT INTO customers.customer_accounts (
  customer_account_id,
  customer_id,
  account_status,
  created_at,
  updated_at
)
  VALUES
    (6, 1006, 'ACTIVE', '2025-12-15 10:23:45', '2025-12-15 10:23:45');

Copy

Eine neue Iceberg-Tabelle aus Snowflake erstellen¶

Bei einer mit einem Katalog verknüpften Datenbank können Sie auch Snowflake verwenden, um eine von Unity Catalog verwaltete Iceberg-Tabelle zu erstellen.

Um eine von Unity Catalog verwaltete Iceberg-Tabelle aus Snowflake zu erstellen, gehen Sie wie folgt vor:

Wählen Sie die mit dem Katalog verknüpfte Datenbank aus.
```
USE DATABASE unity_linked_db;
```
Copy
Wählen Sie das Schema im Katalog in Unity Catalog aus, in dem Sie eine Iceberg-Tabelle erstellen möchten.
```
USE SCHEMA customers;
```
Copy
Erstellen Sie eine Iceberg-Tabelle.
```
CREATE ICEBERG TABLE table_created_from_snowflake (
  id INT,
  name STRING,
  created_date DATE
);
```
Copy
Wenn Sie eine Tabelle in einer mit einem Katalog verknüpften Datenbank erstellen, erstellt Snowflake die Tabelle sowohl in Snowflake als auch im Katalog in Unity Catalog. Wenn Sie die Tabelle entweder mit Snowflake oder Databricks aktualisieren, hält Snowflake beide Tabelleninstanzen synchron.

Eine Iceberg-Tabelle aus Snowflake löschen¶

Da Ihre mit dem Katalog verbundene Datenbank beschreibbar ist, können Sie mit dem Befehl DROP ICEBERG TABLE eine Iceberg-Tabelle aus Snowflake löschen. Um eine Tabelle aus Snowflake zu löschen, muss Ihrem Databricks-Dienstprinzipal die Berechtigung MANAGE erteilt werden.

Warnung

Wenn in Ihrer katalogverknüpften Datenbank Schreibberechtigungen aktiviert sind, gibt Snowflake das Löschen von Tabellen an den Remote-Katalog weiter, wodurch die Tabelle und die Daten aus beiden Systemen entfernt werden.

Verwenden von Iceberg-Tabellen aus Databricks¶

Versuchen Sie, in Databricks die folgenden Aufgaben auszuführen:

Fügen Sie Daten in die Iceberg-Tabelle table_created_from_snowflake, die Sie aus Snowflake erstellt haben, ein.
```
USE CATALOG example_sales_catalog;
USE SCHEMA customers;
INSERT INTO table_created_from_snowflake VALUES
  (1, 'John', CURRENT_TIMESTAMP());
```
Copy
Bemerkung

Beim Fehler PERMISSION_DENIED müssen Sie möglicherweise zuerst Ihren Databricks-Benutzenden die Berechtigungen MODIFY und SELECT für die Tabelle erteilen.

Fragen Sie die Tabelle customer_accounts ab, um die aus Snowflake eingefügten Daten anzuzeigen.

USE CATALOG example_sales_catalog;
USE SCHEMA customers;
SELECT * FROM customer_accounts;

Copy

Automatisierte Aktualisierung der Iceberg-Tabellen¶

Die automatische Aktualisierung ist für Iceberg-Tabellen in Ihrer mit dem Katalog verknüpften Datenbank standardmäßig aktiviert. Wenn Sie Ihre Iceberg-Tabelle über Databricks aktualisieren, wird daher die entsprechende Iceberg-Tabelle in Snowflake automatisch mit den Aktualisierungen aktualisiert.

Um den Status der automatischen Aktualisierung für Ihre von Unity Catalog verwalteten Iceberg-Tabellen zu überprüfen, verwenden Sie die Systemfunktion SYSTEM$AUTO_REFRESH_STATUS in Snowflake.

Bereinigen¶

Bereinigen in Snowflake¶

Um die für dieses Tutorial erstellten Objekte zu löschen, führen Sie die folgenden DROP-Anweisungen aus.

Ersetzen Sie die folgenden Werte:

my_other_database mit dem Namen der zu verwendenden Datenbank, sodass Sie die für dieses Tutorial erstellte Datenbank löschen können.
my_other_warehouse mit dem Namen des zu verwendenden Warehouse, sodass Sie die für dieses Tutorial erstellte Datenbank löschen können.

USE DATABASE <my_other_database>;
DROP DATABASE unity_linked_db;
DROP CATALOG INTEGRATION my_unity_catalog_int_vended_creds;
USE WAREHOUSE <my_other_warehouse>;
DROP WAREHOUSE catalog_linked_database_tutorial_wh;

Copy

Bereinigen in Databricks¶

Löschen Sie den Katalog example_sales_catalog.
```
DROP CATALOG example_sales_catalog cascade;
```
Copy
Entfernen Sie den Dienstprinzipal.

Eine Anleitung dazu finden Sie im Artikel zur Frage, wo Ihr Databricks-Konto gehostet wird:
- Databricks auf AWS: Databricks auf AWS: Verwalten von Dienstprinzipalen
- Azure Databricks: Azure Databricks: Verwalten von Dienstprinzipalen
- Databricks in Google Cloud: Databricks in Google Cloud: Verwalten von Dienstprinzipalen

Zusammenfassung und zusätzliche Ressourcen¶

In diesem Tutorial haben Sie einen durchgängigen Workflow durchlaufen, um den bidirektionalen Zugriff auf Unity Catalog einzurichten, indem Sie eine mit dem Katalog verknüpfte Datenbank mit automatischen Anmeldeinformationen verwenden.

Dabei haben Sie die folgenden Aufgaben erledigt:

Weitere Informationen zu Iceberg-Tabellen für Snowflake finden Sie in der Dokumentation zu Iceberg-Tabellen.