Unity Catalog용 카탈로그 통합 구성하기¶

1단계: Databricks 작업 공간 URL 찾기¶

Databricks 작업 공간 URL은 Databricks 작업 공간에 액세스하는 데 사용하는 URL입니다. 이 URL은 나중에 카탈로그 통합을 생성할 때 지정해야 하므로 찾아야 합니다.

1. Databricks 작업 공간 URL을 찾습니다.

   이 URL을 찾는 방법에 대한 지침은 Databricks 계정이 호스팅되는 위치에 대한 항목을 참조하세요.

   • AWS용 Databricks: `AWS용 Databricks: 작업 공간 인스턴스 이름, URLs 및 IDs<https://docs.databricks.com/aws/workspace/workspace-details#workspace-instance-names-urls-and-ids>`_

   • Azure Databricks: `Azure Databricks: 작업 공간별 URL 확인<https://learn.microsoft.com/azure/databricks/workspace/workspace-details#determine-per-workspace-url>`_

   • Google Cloud용 Databricks: `Google Cloud용 Databricks: 작업 공간 인스턴스 이름, URLs 및 IDs<https://docs.databricks.com/gcp/workspace/workspace-details#workspace-instance-names-urls-and-ids>`_

2. Databricks 작업 공간 URL을 텍스트 편집기에 복사합니다.

2단계: Databricks에 서비스 주체 추가¶

1. 서비스 주체를 추가하려면 Databricks 계정이 호스팅되는 위치에 대한 항목을 참조하세요.

   • AWS용 Databricks: `AWS용 Databricks: 계정에 서비스 주체 추가<https://docs.databricks.com/aws/admin/users-groups/manage-service-principals?language=Account%C2%A0console#-add-service-principals-to-your-account>`_

   • Azure Databricks: `Azure Databricks: 계정에 서비스 주체 추가<https://learn.microsoft.com/azure/databricks/admin/users-groups/manage-service-principals#-add-service-principals-to-your-account>`_

   • Google Cloud용 Databricks: `Google Cloud용 Databricks: 계정에 서비스 주체 추가<https://docs.databricks.com/gcp/admin/users-groups/manage-service-principals#-add-service-principals-to-your-account>`_

2. 서비스 주체의 애플리케이션 ID 값을 텍스트 편집기에 복사하여 안전하게 저장합니다. 나중에 Snowflake에서 카탈로그 통합을 생성할 때 이 값을 지정합니다.

3단계: 서비스 주체에 대한 OAuth 시크릿 생성¶

1. 서비스 주체에 대한 OAuth 시크릿을 생성하려면 Databricks 계정이 호스팅되는 위치에 대한 항목을 참조하세요.

   • AWS용 Databricks: `AWS용 Databricks: OAuth 시크릿 생성<https://docs.databricks.com/aws/dev-tools/auth/oauth-m2m#-step-1-create-an-oauth-secret>`_

   • Azure Databricks: `Azure Databricks: OAuth 시크릿 생성<https://learn.microsoft.com/azure/databricks/dev-tools/auth/oauth-m2m#-step-1-create-an-oauth-secret>`_

   • Google Cloud용 Databricks: `Google Cloud용 Databricks: OAuth 시크릿 생성<https://docs.databricks.com/gcp/dev-tools/auth/oauth-m2m#-step-1-create-an-oauth-secret>`_

2. 생성한 시크릿 값을 텍스트 편집기에 복사하여 안전하게 저장합니다. 나중에 Snowflake에서 카탈로그 통합을 생성할 때 이 값을 지정합니다.

   중요

   클라이언트 시크릿은 한 번만 표시됩니다. 대화 상자를 닫기 전에 복사해야 합니다.

4단계: Unity Catalog에서 카탈로그에 대한 Snowflake 액세스 활성화¶

이 단계에서는 Databricks를 사용하여 Snowflake가 Unity Catalog의 카탈로그에 액세스할 수 있도록 지원합니다.

발급된 자격 증명을 통해 Unity Catalog의 카탈로그에 대한 Snowflake 액세스를 활성화하려면 먼저 메타스토어 수준에서 메타스토어에 외부 데이터 액세스를 활성화해야 합니다. 다음으로, 서비스 주체에 카탈로그에 대한 Unity Catalog 권한을 부여해야 합니다.

GRANT EXTERNAL USE SCHEMA ON CATALOG example_sales_catalog TO `1aaa1a1a-11a1-1111-1111-1a11111aaa1a`;
GRANT MODIFY ON CATALOG example_sales_catalog TO `1aaa1a1a-11a1-1111-1111-1a11111aaa1a`;
GRANT SELECT ON CATALOG example_sales_catalog TO `1aaa1a1a-11a1-1111-1111-1a11111aaa1a`;
GRANT USE CATALOG ON CATALOG example_sales_catalog TO `1aaa1a1a-11a1-1111-1111-1a11111aaa1a`;
GRANT USE SCHEMA ON CATALOG example_sales_catalog TO `1aaa1a1a-11a1-1111-1111-1a11111aaa1a`;

5단계: 카탈로그 통합 만들기¶

다음 예제에서는 OAuth 를 사용하는 REST 카탈로그 통합을 생성합니다.

CREATE OR REPLACE CATALOG INTEGRATION unity_catalog_int_oauth_vended_credentials
CATALOG_SOURCE = ICEBERG_REST
TABLE_FORMAT = ICEBERG
REST_CONFIG = (
  CATALOG_URI = '<databricks_workspace_url>/api/2.1/unity-catalog/iceberg-rest'
  CATALOG_NAME = '<catalog_name>'
  ACCESS_DELEGATION_MODE = VENDED_CREDENTIALS
)
REST_AUTHENTICATION = (
  TYPE = OAUTH
  OAUTH_TOKEN_URI = '<databricks_workspace_url>/oidc/v1/token'
  OAUTH_CLIENT_ID = '<client_id>'
  OAUTH_CLIENT_SECRET = '<oauth_secret>'
  OAUTH_ALLOWED_SCOPES = ('all-apis')
)
ENABLED = TRUE;

여기서

• ``<databricks_workspace_url>``은 Databricks 작업 공간에 대한 URL을 지정합니다. 이 URL을 찾으려면, 1단계: Databricks 작업 공간 URL 찾기 섹션을 참조하세요.

  다음은 각 클라우드 플랫폼에 대한 Databricks 작업 공간의 URL 예제입니다.

  • AWS용 Databricks: https://dbc-a1a1a1a1-a1a1.cloud.databricks.com

  • Azure Databricks: https://adb-1111111111111111.1.azuredatabricks.net

  • Google Cloud용 Databricks: https://1111111111111111.1.gcp.databricks.com

• ``<catalog_name>``은 Snowflake를 연결하려는 Unity Catalog의 카탈로그 이름을 지정합니다. 이 이름은 Data > :extui:`Catalogs`의 Databricks 작업 공간에서 찾을 수 있습니다.

• ``ACCESS_DELEGATION_MODE = VENDED_CREDENTIALS``는 Unity Catalog에서 발급된 자격 증명을 사용하도록 카탈로그 통합을 구성합니다.

  참고

  외부 볼륨을 사용하는 카탈로그 통합을 생성하는 경우 ACCESS_DELEGATION_MODE 매개 변수를 제외해야 합니다.

• ``<client_id>``는 Databricks 서비스 주체에 대한 OAuth 클라이언트 ID를 지정합니다. :ref:`Databricks에 서비스 주체를 추가<label-tables_iceberg_configure_catalog_integration_rest_unity_oauth_add_service_principal>`할 때 이 값을 복사했습니다.

  참고

  Databricks에서는 이 값을 클라이언트 ID가 아닌 *애플리케이션 ID*라고 합니다.

• ``<oauth_secret>``은 Databricks 서비스 주체에 대한 OAuth 시크릿을 지정합니다. :ref:`서비스 주체에 대한 OAuth 시크릿을 생성<label-tables_iceberg_configure_catalog_integration_rest_unity_oauth_add_oauth_secret>`할 때 이 값을 복사했습니다.

6단계: 카탈로그 통합 확인하기¶

• 카탈로그 통합 구성을 확인하려면 SYSTEM$VERIFY_CATALOG_INTEGRATION 함수를 호출합니다.

  예제를 포함한 자세한 내용은 :ref:`SYSTEM$VERIFY_CATALOG_INTEGRATION을 사용하여 카탈로그 통합 구성 확인<label-tables_iceberg_rest_catalog_integration_verify_system_function>`을 참조하세요.

다음 단계¶

Unity Catalog에서 카탈로그에 대한 카탈로그 통합을 구성한 후 CREATE DATABASE(카탈로그 연결) 명령을 통해 생성한 카탈로그 통합을 지정하여 카탈로그 연결 데이터베이스를 생성합니다. 그런 다음 Snowflake는 Unity Catalog의 카탈로그와 자동으로 동기화하여 스키마와 Iceberg 테이블을 감지하고 원격 테이블을 카탈로그 연결 데이터베이스에 등록합니다.

카탈로그 연결 데이터베이스를 생성하는 경우 카탈로그 통합을 지정합니다.

For example:

CREATE OR REPLACE DATABASE my_linked_db
   LINKED_CATALOG = (
      CATALOG = 'unity_catalog_int_oauth_vended_credentials'
   );

1단계: Databricks 작업 공간 URL 찾기¶

Databricks 작업 공간 URL은 Databricks 작업 공간에 액세스하는 데 사용하는 URL입니다. 이 URL은 나중에 카탈로그 통합을 생성할 때 지정해야 하므로 찾아야 합니다.

1. Databricks 작업 공간 URL을 찾습니다.

   이 URL을 찾는 방법에 대한 지침은 Databricks 계정이 호스팅되는 위치에 대한 항목을 참조하세요.

   • AWS용 Databricks: `AWS용 Databricks: 작업 공간 인스턴스 이름, URLs 및 IDs<https://docs.databricks.com/aws/workspace/workspace-details#workspace-instance-names-urls-and-ids>`_

   • Azure Databricks: `Azure Databricks: 작업 공간별 URL 확인<https://learn.microsoft.com/azure/databricks/workspace/workspace-details#determine-per-workspace-url>`_

   • Google Cloud용 Databricks: `Google Cloud용 Databricks: 작업 공간 인스턴스 이름, URLs 및 IDs<https://docs.databricks.com/gcp/workspace/workspace-details#workspace-instance-names-urls-and-ids>`_

2. Databricks 작업 공간 URL을 텍스트 편집기에 복사합니다.

2단계: Databricks에 개인 액세스 토큰(PAT) 추가¶

개인 액세스 토큰(PAT)은 인증을 위해 전달자 토큰을 사용하는 카탈로그 통합을 생성할 때 지정해야 하므로 추가해야 합니다.

1. Databricks에 PAT를 추가하려면 Databricks 계정이 호스팅되는 위치에 대한 항목을 참조하세요.

   • AWS용 Databricks: `AWS용 Databricks: Databricks 개인 액세스 토큰으로 인증(레거시)<https://docs.databricks.com/aws/en/dev-tools/auth/pat>`_

   • Azure Databricks: `Azure Databricks: Azure Databricks 개인 액세스 토큰으로 인증(레거시)<https://learn.microsoft.com/en-us/azure/databricks/dev-tools/auth/pat>`_

   • Google Cloud용 Databricks: `Google Cloud용 Databricks: Databricks 개인 액세스 토큰으로 인증(레거시)<https://docs.databricks.com/gcp/en/dev-tools/auth/pat>`_

2. PAT의 값을 텍스트 편집기에 복사하여 안전하게 저장합니다. 나중에 Snowflake에서 카탈로그 통합을 생성할 때 이 값을 지정합니다.

3단계: Unity Catalog에서 카탈로그에 대한 Snowflake 액세스 활성화¶

이 단계에서는 Databricks를 사용하여 Snowflake가 Unity Catalog의 카탈로그에 액세스할 수 있도록 지원합니다.

발급된 자격 증명을 통해 Unity Catalog의 카탈로그에 대한 Snowflake 액세스를 활성화하려면 먼저 메타스토어 수준에서 메타스토어에 외부 데이터 액세스를 활성화해야 합니다. 다음으로 Databricks 사용자에게 PAT가 상속하는 카탈로그에 대한 Unity Catalog 권한을 부여해야 합니다.

GRANT EXTERNAL USE SCHEMA ON CATALOG example_sales_catalog TO `j.smith@example.com`;
GRANT MODIFY ON CATALOG example_sales_catalog TO `j.smith@example.com`;
GRANT SELECT ON CATALOG example_sales_catalog TO `j.smith@example.com`;
GRANT USE CATALOG ON CATALOG example_sales_catalog TO `j.smith@example.com`;
GRANT USE SCHEMA ON CATALOG example_sales_catalog TO `j.smith@example.com`;

4단계: 카탈로그 통합 만들기¶

The following example creates a REST catalog integration that uses a bearer token with vended credentials:

CREATE OR REPLACE CATALOG INTEGRATION unity_catalog_int_bearer_vended_credentials
  CATALOG_SOURCE = ICEBERG_REST
  TABLE_FORMAT = ICEBERG
  REST_CONFIG = (
    CATALOG_URI = '<databricks_workspace_url>/api/2.1/unity-catalog/iceberg-rest'
    CATALOG_NAME = '<catalog_name>'
    ACCESS_DELEGATION_MODE = VENDED_CREDENTIALS
  )
  REST_AUTHENTICATION = (
    TYPE = BEARER
    BEARER_TOKEN = '<personal_access_token>'
  )
  ENABLED = TRUE;

여기서

• ``<databricks_workspace_url>``은 Databricks 작업 공간에 대한 URL을 지정합니다. 이 URL을 찾으려면, 1단계: Databricks 작업 공간 URL 찾기 섹션을 참조하세요.

  다음은 각 클라우드 플랫폼에 대한 Databricks 작업 공간의 URL 예제입니다.

  • AWS용 Databricks: https://dbc-a1a1a1a1-a1a1.cloud.databricks.com

  • Azure Databricks: https://adb-1111111111111111.1.azuredatabricks.net

  • Google Cloud용 Databricks: https://1111111111111111.1.gcp.databricks.com

• ``<catalog_name>``은 Snowflake를 연결하려는 Unity Catalog의 카탈로그 이름을 지정합니다. 이 이름은 Data > :extui:`Catalogs`의 Databricks 작업 공간에서 찾을 수 있습니다.

• ``ACCESS_DELEGATION_MODE = VENDED_CREDENTIALS``는 Unity Catalog에서 발급된 자격 증명을 사용하도록 카탈로그 통합을 구성합니다.

  참고

  외부 볼륨을 사용하는 카탈로그 통합을 생성하는 경우 ACCESS_DELEGATION_MODE 매개 변수를 제외해야 합니다.

• <personal_access_token> specifies your Databricks personal access token (PAT). An example of a PAT is aaaa111aaaa111a1a1a1a111111a111a1111.

5단계: 카탈로그 통합 확인하기¶

• 카탈로그 통합 구성을 확인하려면 SYSTEM$VERIFY_CATALOG_INTEGRATION 함수를 호출합니다.

  자세한 내용은 :ref:`SYSTEM$VERIFY_CATALOG_INTEGRATION을 사용하여 카탈로그 통합 구성 확인하기<label-tables_iceberg_rest_catalog_integration_verify_system_function>`를 참조하세요.

다음 단계¶

Unity Catalog에서 카탈로그에 대한 카탈로그 통합을 구성한 후 CREATE DATABASE(카탈로그 연결) 명령을 통해 생성한 카탈로그 통합을 지정하여 카탈로그 연결 데이터베이스를 생성합니다. 그런 다음 Snowflake는 Unity Catalog의 카탈로그와 자동으로 동기화하여 스키마와 Iceberg 테이블을 감지하고 원격 테이블을 카탈로그 연결 데이터베이스에 등록합니다.

카탈로그 연결 데이터베이스를 생성하는 경우 카탈로그 통합을 지정합니다.

For example:

CREATE OR REPLACE DATABASE my_linked_db
   LINKED_CATALOG = (
      CATALOG = 'unity_catalog_int_bearer_vended_credentials'
   );