チュートリアル：Databricks Unity Catalogで Apache Iceberg™ テーブルへの双方向アクセスを設定する¶

概要¶

このチュートリアルでは、カタログ提供の認証情報を持つ書き込み可能なカタログリンクデータベースを使用して、SnowflakeをDatabricks Unity Catalog Catalogに接続する方法を説明します。この設定により、SnowflakeとDatabricks間で双方向のデータコラボレーションが可能になります。

カタログリンクデータベースは、Unity Catalogのカタログなど、外部Iceberg REST カタログに接続されたSnowflakeデータベースです。Snowflakeは外部カタログと自動的に同期して名前空間とIcebergテーブルを検出し、リモートテーブルをカタログリンクデータベースに登録します。カタログリンクデータベースが書き込み可能な場合、スキーマやIcebergテーブルの作成と削除もサポートしています。

Icebergテーブルのカタログ提供認証情報により、外部ボリュームを使用せずに、Snowflakeにクラウドストレージ内のテーブルデータとメタデータへのアクセスを付与できます。カタログ提供の認証情報を使用してSnowflakeをUnity Catalogのカタログに接続すると、Unity Catalogはクラウドストレージ内のテーブルデータにアクセスするための仮の認証情報をSnowflakeに提供します。

この設定を使用して、以下のタスクを実行できます。

Snowflakeを使用して、Unity Catalogで管理されているIcebergテーブルをクエリします。
Snowflakeを使用して、Unity Catalogで管理されているIcebergテーブルにデータを挿入します。
Snowflakeを使用して、Unity Catalogで管理されるIcebergテーブルを作成します。
Databricksを使用して、Snowflakeから作成または変更したUnity Catalog管理のIcebergテーブルを操作します。

Snowflake操作に関するこのチュートリアルの手順を完了するには、 Snowsight でワークシートを使用するか、 SnowSQL などのSnowflakeクライアントを使用します。コード例をコピー＆ペーストして実行することができます。Databricksの操作に関するこのチュートリアルの手順を完了するには、Databricksワークスペースを使用してコード例をコピー＆ペーストするか、リンクされたDatabricksドキュメントの手順に従ってください。

学習内容¶

このチュートリアルでは、次を実行する方法を学びます。

Unity Catalogでカタログを作成します。
Databricksにサービスプリンシパルと OAuth シークレットを追加して、Snowflakeが使用する認証情報を構成します。
Databricksを使用して、SnowflakeがUnity Catalogのカタログにアクセスできるようにします。
Snowflakeでベンディングされた認証情報を使用するカタログ統合を作成し、SnowflakeをUnity Catalogのカタログに接続します。
Unity Catalogのカタログと同期し、SnowflakeからUnity Catalogのカタログに書き込めるカタログリンクデータベースをSnowflakeに作成します。
SnowflakeからUnity Catalog管理のIcebergテーブルを操作します。これには、データをクエリしてこれらのテーブルに挿入することや、SnowflakeからUnity Catalog管理のIcebergテーブルを作成することが含まれます。
DatabricksからUnity Catalogで管理されたIcebergテーブルを操作します。

前提条件¶

始める前に、以下の概念をよく理解しておく必要があります。

Snowflake オブジェクト識別子とその要件。
SnowflakeのApache IcebergとIcebergテーブル。詳細については、 Apache Iceberg™ テーブルをご参照ください。
Databricks Unity Catalog。詳細については、Databricksドキュメント内の Unity Catalogとは何ですか？をご参照ください。

次が必要です。

Databricks

Snowflake

以下のアクションを実行する権限を持つロールを持つSnowflakeユーザー：
30日間の試用アカウントを使用している場合は、アカウント用に作成されたユーザーとしてログインできます。このユーザーには、オブジェクトの作成に必要な権限を持ったロールがあります。

必要な権限を持つユーザーがいない場合は、権限のある人に作成を依頼します。ACCOUNTADMINロールを持つユーザーは、新しいユーザーを作成し、必要な権限を付与することができます。

ステップ1：Databricks Unity Catalogでカタログを作成する¶

Databricksで、次のステートメントを実行して、次のオブジェクトを持つ example_sales_catalog カタログをUnity Catalogに作成します。

customers スキーマ
いくつかのサンプルデータを含む customer_accounts テーブル（ customers スキーマの下にネスト化されます）

CREATE CATALOG example_sales_catalog;

CREATE SCHEMA example_sales_catalog.customers;

CREATE TABLE example_sales_catalog.customers.customer_accounts (
  customer_account_id INT,
  customer_id INT,
  account_status STRING,
  created_at TIMESTAMP,
  updated_at TIMESTAMP
) USING ICEBERG;

INSERT INTO example_sales_catalog.customers.customer_accounts VALUES
  (1, 1001, 'Active', CURRENT_TIMESTAMP(), CURRENT_TIMESTAMP()),
  (2, 1002, 'Active', CURRENT_TIMESTAMP(), CURRENT_TIMESTAMP()),
  (3, 1003, 'Inactive', CURRENT_TIMESTAMP(), CURRENT_TIMESTAMP()),
  (4, 1004, 'Active', CURRENT_TIMESTAMP(), CURRENT_TIMESTAMP()),
  (5, 1005, 'Pending', CURRENT_TIMESTAMP(), CURRENT_TIMESTAMP());

Copy

ステップ2：Databricksにサービスプリンシパルを追加する¶

このステップでは、Databricksにサービスプリンシパルを追加します。

SnowflakeがUnity Catalogで認証できるようにするには、Databricksでサービスプリンシパルを追加し、Databricksのサービスプリンシパルの OAuth シークレットを作成する必要があります。

Databricksにサービスプリンシパルを追加する¶

サービスプリンシパルを追加するには、Databricksアカウントがホストされている場所のトピックをご参照ください。
- AWS のDatabricks:` AWS のDatabricks:アカウントにサービスプリンシパルを追加する <https://docs.databricks.com/aws/admin/users-groups/manage-service-principals?language=Account%C2%A0console#-add-service-principals-to-your-account>`_
- Azure Databricks:Azure Databricks:アカウントにサービスプリンシパルを追加する
- **Google CloudのDatabricks **:Google CloudのDatabricks:アカウントにサービスプリンシパルを追加する
サービスプリンシパルの アプリケーション ID 値をテキストエディターにコピーし、安全に保存します。この値は、後でSnowflakeでカタログ統合を作成するときに指定します。

サービスプリンシパルの OAuth シークレットを作成する¶

サービスプリンシパルの OAuth シークレットを作成するには、Databricksアカウントがホストされている場所のトピックをご参照ください。
- AWS のDatabricks:` AWS のDatabricks:OAuth シークレットを作成する <https://docs.databricks.com/aws/dev-tools/auth/oauth-m2m#-step-1-create-an-oauth-secret>`_
- Azure Databricks:Azure Databricks:OAuth シークレットを作成する
- **Google CloudのDatabricks **:Google CloudのDatabricks:OAuth シークレットを作成する
生成した シークレット 値をテキストエディターにコピーし、安全に保存します。この値は、後でSnowflakeでカタログ統合を作成するときに指定します。

重要

クライアントシークレットが表示されるのは1回だけです。ダイアログを閉じる前に必ずコピーしてください。

次のステップでは、作成したサービスプリンシパルに権限を付与し、SnowflakeがUnity Catalogの example_sales_catalog カタログにアクセスできるようにします。

ステップ3：SnowflakeのUnity Catalogへのアクセスを有効にする¶

このステップでは、Databricksを使用して、SnowflakeがUnity Catalogのカタログにアクセスできるようにします。

ベンディングされた認証情報を通じてUnity CatalogのカタログにSnowflakeがアクセスできるようにするには、まずメタストアレベルで、メタストアの外部データアクセスを有効にする必要があります。次に、サービスプリンシパルにカタログに対するUnity Catalog権限を付与する必要があります。

メタストアで外部データアクセスを有効にする¶

まず、メタストアで外部データアクセスを有効にします。

メタストアで外部データアクセスを有効にする方法については、Databricksアカウントがホストされている場所のトピックをご参照ください。

サービスプリンシパルにカタログへのアクセスを付与する¶

次に、サービスプリンシパルにUnity Catalog権限を付与する必要があります。指定した権限に基づいてSnowflakeがカタログにアクセスできるようにするには、これらの権限をサービスプリンシパルに付与する必要があります。

カタログエクスプローラーを使用して、 example_sales_catalog カタログを選択し、カタログレベルでサービスプリンシパルに以下の権限を付与します。

Databricksカタログエクスプローラーを使用して権限を付与するには、Databricksアカウントがホストされている場所のトピックをご参照ください。

重要

Principals フィールドで、ユーザーのメールアドレスやグループの名前ではなく、サービスプリンシパルの名前を入力する必要があります。

以下のステートメントを実行して、このチュートリアルを完了するために必要な権限をサービスプリンシパルに付与します。各権限の説明については、権限の説明をご参照ください。

GRANT CREATE TABLE ON CATALOG example_sales_catalog TO `<application_id>`;
GRANT EXTERNAL USE SCHEMA ON CATALOG example_sales_catalog TO `<application_id>`;
GRANT MODIFY ON CATALOG example_sales_catalog TO `<application_id>`;
GRANT SELECT ON CATALOG example_sales_catalog TO `<application_id>`;
GRANT USE CATALOG ON CATALOG example_sales_catalog TO `<application_id>`;
GRANT USE SCHEMA ON CATALOG example_sales_catalog TO `<application_id>`;

Copy

条件:

<application_id> is the Application ID for your service principal, which you copied in a previous step. 1aaa1a1a-11a1-1111-1111-1a11111aaa1a は、サービスプリンシパルのアプリケーション ID の例です。

権限の説明¶

次の表は、サービスプリンシパルに付与した各Unity Catalog権限と、各権限がSnowflakeに付与するアクセス権を説明しています。

権限	説明
`CREATE TABLE`	Snowflakeがカタログで新しいIcebergテーブルを作成できるようにします。SnowflakeからUnity Catalog管理のIcebergテーブルを作成するために必要です。
`EXTERNAL USE SCHEMA`	クラウドストレージ内のテーブルデータにアクセスできるように、Unity CatalogがSnowflakeに仮のスコープ付き認証情報を生成して提供できるようにします。重要この権限は、カタログリンクデータベースでベンディングされた認証情報を使用する場合に必要です。
`MODIFY`	Snowflakeが既存のテーブルでデータの挿入、更新、または削除を行えるようにします。SnowflakeからUnity Catalog管理のIcebergテーブルにデータを書き込むために必要です。
`SELECT`	Snowflakeがテーブルをクエリし、テーブルメタデータにアクセスできるようにします。カタログリンクデータベースでのデータの読み取りやテーブルの検出など、Snowflakeでのすべての操作に必要です。
`USE CATALOG`	Snowflakeにカタログへのアクセスを許可します。Unity Catalogのオブジェクトに接続して操作するために必要です。
`USE SCHEMA`	Snowflakeにカタログ内のスキーマ（名前空間）へのアクセスを許可します。特定のスキーマのテーブルを表示および操作するために必要です。

ステップ4：Databricksワークスペース情報を収集する¶

このステップでは、Databricksを使用してワークスペースに関する情報を収集します。この情報は、Snowflakeでカタログ統合を作成する時に、後で指定するために必要です。

Databricksワークスペースから以下の情報を収集します。

Databricksワークスペース URL:これは、Databricksワークスペースにアクセスするために使用する URL です。

この URL を確認する方法については、Databricksアカウントがホストされている場所のトピックをご参照ください。
- AWS のDatabricks:` AWS のDatabricks:ワークスペースインスタンス名、 URLs 、 IDs <https://docs.databricks.com/aws/workspace/workspace-details#workspace-instance-names-urls-and-ids>`_
- Azure Databricks:Azure Databricks:ワークスペースごとの URL を判断する
- **Google CloudのDatabricks **:Google CloudのDatabricks:ワークスペースインスタンス名、 URLs 、 IDs
こちらは、各クラウドプラットフォームのDatabricksワークスペース URL の例です。
- AWS のDatabricks: https://dbc-a1a1a1a1-a1a1.cloud.databricks.com
- Azure Databricks: https://adb-1111111111111111.1.azuredatabricks.net
- **Google CloudのDatabricks **: https://1111111111111111.1.gcp.databricks.com
Unity Catalogのカタログ名:SnowflakeからアクセスするUnity Catalogのカタログ名。 example_sales_catalog 。
アプリケーション ID:Databricksで追加したサービスプリンシパルのアプリケーション ID 。
OAuth シークレット:Databricksで追加したサービスプリンシパルの OAuth シークレット。

これらの値をテキストエディターにコピーします。Snowflakeでカタログ統合を作成するときに使用します。

ステップ5：Snowflakeでウェアハウスとカタログ統合を設定する¶

Snowflakeで、このチュートリアル用のウェアハウスとカタログ統合を作成し、環境を設定します。

ウェアハウスを作成する¶

次のステートメントを実行して、ウェアハウスを作成します。

CREATE WAREHOUSE catalog_linked_database_tutorial_wh
  WAREHOUSE_TYPE = STANDARD
  WAREHOUSE_SIZE = XSMALL;

USE WAREHOUSE catalog_linked_database_tutorial_wh;

Copy

カタログ統合を使用する¶

Snowflakeで、 OAuth 認証とベンディングされた認証情報を使用してSnowflakeをUnity Catalogの example_sales_catalog カタログに接続するカタログ統合を作成します。

Databricks Unity Catalog用のカタログ統合を作成するには、 CREATE CATALOG INTEGRATION （Apache Iceberg™ REST）コマンドを使用します。

次の例では、 OAuth を使用して example_sales_catalog カタログに接続するための REST カタログ統合を作成します。

CREATE OR REPLACE CATALOG INTEGRATION my_unity_catalog_int_vended_creds
  CATALOG_SOURCE = ICEBERG_REST
  TABLE_FORMAT = ICEBERG
  REST_CONFIG = (
    CATALOG_URI = '<databricks_workspace_url>/api/2.1/unity-catalog/iceberg-rest'
    CATALOG_NAME = 'example_sales_catalog'
    ACCESS_DELEGATION_MODE = VENDED_CREDENTIALS
  )
  REST_AUTHENTICATION = (
    TYPE = OAUTH
    OAUTH_TOKEN_URI = '<databricks_workspace_url>/oidc/v1/token'
    OAUTH_CLIENT_ID = '<client_id>'
    OAUTH_CLIENT_SECRET = '<oauth_secret>'
    OAUTH_ALLOWED_SCOPES = ('all-apis')
  )
  ENABLED = TRUE;

Copy

条件:

<databricks_workspace_url> は、Databricksワークスペース URL です。これは、前のステップで確認したものです。
example_sales_catalog は、接続先のUnity Catalogのカタログ名です。
<client_id> はDatabricksで作成したサービスプリンシパルの OAuth クライアント ID です。

重要

Databricksでは、この値はクライアント ID ではなく *アプリケーション ID*と呼ばれます。
<oauth_secret> は、Databricksで作成したサービスプリンシパルのために生成した OAuth シークレットです。

カタログ統合を確認する¶

カタログ統合の構成を確認するには、 SYSTEM$VERIFY_CATALOG_INTEGRATION 関数を呼び出します。

例などの詳細については、 SYSTEM$VERIFY_CATALOG_INTEGRATION を使用してカタログ統合構成を確認するをご参照ください。

次に、Unity Catalogで example_sales_catalog を検出して同期するカタログリンクデータベースを作成する時に作成したカタログ統合を指定します。

ステップ6：カタログリンクデータベースの作成¶

このステップでは、前のステップで作成したカタログ統合を使用して、Unity Catalogの example_sales_catalog カタログに接続するカタログリンクデータベースを作成します。

カタログリンクデータベースを作成するには、 CREATE DATABASE（カタログリンク）コマンドを使用します。

次の例では、書き込み可能で、ベンディングされた認証情報を使用し、1つのブロックされた名前空間を指定するカタログリンクデータベースを作成します。

CREATE DATABASE unity_linked_db
  LINKED_CATALOG = (
    CATALOG = 'my_unity_catalog_int_vended_creds'
    BLOCKED_NAMESPACES = ('information_schema')
  );

Copy

条件:

my_unity_catalog_int_vended_creds は、前のステップで作成したカタログ統合の名前です。

注釈

書き込み可能なカタログリンクデータベースを作成するために ALLOWED_WRITE_OPERATIONS パラメーターを指定する必要はありません。なぜなら、このパラメーターのデフォルトは ALL であり、カタログリンクデータベースが書き込み可能であることを意味するためです。
BLOCKED_NAMESPACES = ('information_schema') は、SnowflakeがUnity Catalogの information_schema スキーマと同期することを防ぎます。そうでない場合、カタログ同期ステータスを後でチェックすると、このスキーマは無関係の SQL 実行エラーを返します。このスキーマの下にネストされたテーブルはIcebergと互換性がないため、これらのエラーは無関係です。

information_schema スキーマの下にネストされたテーブルとビューは組み込みのDatabricksテーブルとビューであり、Icebergテーブルではありません。
このコード例では、ベンディングされた認証情報でカタログリンクデータベースを構成しているため、外部ボリュームを指定する必要はありません。
ALLOWED_WRITE_OPERATIONS パラメーターのデフォルトは ALL であり、カタログリンクデータベースが読み取りと書き込み操作をサポートしていることを意味します。

カタログリンクデータベースを作成したので、Snowflakeは自動的にUnity Catalogと同期して、名前空間とIcebergテーブルを検出します。デフォルトの同期間隔は30秒です。

ステップ7：カタログの同期ステータスを確認する¶

SnowflakeがUnity Catalogのカタログをデータベースに正常にリンクしたことを確認するには、 SYSTEM$CATALOG_LINK_STATUS 関数を使用します。

SELECT SYSTEM$CATALOG_LINK_STATUS('unity_linked_db');

Copy

この関数は、同期に失敗したテーブルなど、同期ステータスに関する情報を返します。

同期が成功すると、Unity Catalog名前空間がカタログリンクデータベースにスキーマとして表示され、Icebergテーブルがそれぞれのスキーマの下に表示されます。

注釈

Snowflakeが作成したものの初期化できなかったテーブルを識別するには、 SHOW ICEBERG TABLES コマンドを使用します。詳細については、作成されたが初期化できなかったテーブルを特定するをご参照ください。

ステップ8：Icebergテーブルの操作¶

カタログ同期が完了すると、Snowflakeから直接Unity Catalog管理のIcebergテーブルにデータをクエリして挿入し、SnowflakeからUnity Catalog管理のIcebergテーブルを作成できます。

その後、Databricksを使用して、Snowflakeから作成または変更したテーブルを操作できます。

SnowflakeからIcebergテーブルをクエリする¶

Unity Catalog管理のIcebergテーブルをクエリするには、以下の手順に従います。

カタログリンクデータベースを選択します。
```
USE DATABASE unity_linked_db;
```
Copy
Unity Catalogでカタログ内のテーブルをクエリします。

次の例では、 customer_accounts テーブルをクエリしています。このテーブルは、Unity Catalogの example_sales_catalog カタログの上位の customers スキーマの下にネストされます。
```
SELECT * FROM customers.customer_accounts
  LIMIT 20;
```
Copy

注釈

カタログリンクデータベースでオブジェクトを識別するための要件については、 Requirements for identifier resolution in a catalog-linked database をご参照ください。

SnowflakeからIcebergテーブルにデータを挿入する¶

カタログリンクデータベースを使用すると、Snowflakeを使用して、Unity Catalog管理のIcebergテーブルにデータを挿入できます。

SnowflakeからUnity Catalog管理のIcebergテーブルにデータを挿入するには、以下の手順に従います。

カタログリンクデータベースを選択します。
```
USE DATABASE unity_linked_db;
```
Copy

customer_accounts テーブルにデータを挿入します。

INSERT INTO customers.customer_accounts (
  customer_account_id,
  customer_id,
  account_status,
  created_at,
  updated_at
)
  VALUES
    (6, 1006, 'ACTIVE', '2025-12-15 10:23:45', '2025-12-15 10:23:45');

Copy

Snowflakeから新しいIcebergテーブルを作成する¶

カタログリンクデータベースがあれば、Snowflakeを使用してUnity Catalog管理のIcebergテーブルを作成することもできます。

SnowflakeからUnity Catalog管理のIcebergテーブルを作成するには、以下の手順に従います。

カタログリンクデータベースを選択します。
```
USE DATABASE unity_linked_db;
```
Copy
Unity Catalogのカタログで、Icebergテーブルを作成するスキーマを選択します。
```
USE SCHEMA customers;
```
Copy
Icebergテーブルを作成します。
```
CREATE ICEBERG TABLE table_created_from_snowflake (
  id INT,
  name STRING,
  created_date DATE
);
```
Copy
カタログリンクデータベースにテーブルを作成すると、SnowflakeはSnowflakeとUnity Catalogのカタログの両方にテーブルを作成します。SnowflakeまたはDatabricksを使用してテーブルを更新すると、Snowflakeは両方のテーブルインスタンスの同期を維持します。

SnowflakeからIcebergテーブルをドロップする¶

カタログリンクデータベースは書き込み可能であるため、 DROP ICEBERG TABLE コマンドを使用してSnowflakeからIcebergテーブルをドロップできます。Snowflakeからテーブルをドロップするには、Databricksサービスプリンシパルに MANAGE 権限が付与されている必要があります。

警告

カタログリンクデータベースの書き込み権限が有効になっている場合、Snowflakeはテーブルの削除をリモートカタログに伝播し、両方のシステムからテーブルとデータが削除されます。

DatabricksからIcebergテーブルを操作する¶

Databricksで、次のタスクを試してください。

Snowflakeから作成した table_created_from_snowflake Icebergテーブルにデータを挿入します。
```
USE CATALOG example_sales_catalog;
USE SCHEMA customers;
INSERT INTO table_created_from_snowflake VALUES
  (1, 'John', CURRENT_TIMESTAMP());
```
Copy
注釈

PERMISSION_DENIED エラーを受け取った場合は、最初にテーブルに対する MODIFY および SELECT 権限をDatabricksユーザーに付与する必要があります。
customer_accounts テーブルをクエリして、Snowflakeから挿入したデータを表示します。
```
USE CATALOG example_sales_catalog;
USE SCHEMA customers;
SELECT * FROM customer_accounts;
```
Copy

Icebergテーブルの自動リフレッシュ¶

自動リフレッシュはカタログリンクデータベースのIcebergテーブルに対してデフォルトで有効になっています。その結果、DatabricksからIcebergテーブルを更新すると、Snowflakeの対応するIcebergテーブルが更新とともに自動的にリフレッシュされます。

Unity Catalog管理のIcebergテーブルの自動リフレッシュステータスを確認するには、Snowflakeで SYSTEM$AUTO_REFRESH_STATUS システム関数を使用します。

クリーンアップする¶

Snowflakeでクリーンアップする¶

このチュートリアルで作成したオブジェクトをすべて削除するには、以下の DROP ステートメントを実行します。

次の値を置換します。

my_other_database を使用するデータベースの名前に置き換えて、このチュートリアル用に作成したものを削除できるようにします。
my_other_warehouse を使用するウェアハウスの名前に置き換えて、このチュートリアル用に作成したものを削除できるようにします。

USE DATABASE <my_other_database>;
DROP DATABASE unity_linked_db;
DROP CATALOG INTEGRATION my_unity_catalog_int_vended_creds;
USE WAREHOUSE <my_other_warehouse>;
DROP WAREHOUSE catalog_linked_database_tutorial_wh;

Copy

Databricksでクリーンアップする¶

example_sales_catalog カタログを削除します。
```
DROP CATALOG example_sales_catalog cascade;
```
Copy
サービスプリンシパルを削除します。

手順については、Databricksアカウントがホストされている場所のトピックをご参照ください。
- AWS のDatabricks:` AWS のDatabricks:サービスプリンシパルを管理する <https://docs.databricks.com/aws/en/admin/users-groups/manage-service-principals>`_
- Azure Databricks:Azure Databricks:サービスプリンシパルを管理する
- **Google CloudのDatabricks **:Google CloudのDatabricks:サービスプリンシパルを管理する

まとめおよび追加リソース¶

このチュートリアルでは、エンドツーエンドのワークフローに従って、ベンディングされた認証情報とカタログリンクデータベースを使用して、Unity Catalogへの双方向アクセスを設定しました。

その過程で、あなたは以下のタスクを完了しました：

Snowflake用Icebergテーブルの詳細については、 Icebergテーブルのドキュメントをご参照ください。