Azure Private Link 및 Snowflake Open Catalog¶

이 항목에서는 Azure Private Link를 구성하여 인바운드 비공개 연결을 사용하여 Snowflake Open Catalog 계정을 쿼리 엔진에 직접 연결하는 방법에 대해 설명합니다.

전제 조건¶

Snowflake Open Catalog 계정이 Azure에서 호스팅됩니다.
Open Catalog 계정에 대해 비공개 연결 URL을 사용하여 DNS 서비스를 구성하는 데 필요한 권한이 있습니다.

1단계: Open Catalog 계정 설정 검색¶

Azure Private Link를 사용하여 Open Catalog에 대한 액세스를 구성하기 위한 다음 설정을 검색합니다.

Snowflake Open Catalog에 로그인합니다.
탐색 메뉴에서 설정을 선택합니다.
설정 페이지에서 다음 설정의 값을 텍스트 편집기에 복사합니다.
- PrivateLink 계정 URL
- 리전 없는 PrivateLink 계정 URL
- PrivateLink OCSP URL
- 리전 없는 PrivateLink OCSP URL
- Private Link 서비스 ID

Azure Private Link를 사용하여 Open Catalog에 대한 액세스 구성 및 Azure Private Link를 통해 Open Catalog에 연결 시 이러한 값을 붙여넣습니다.

각 설정에 대한 설명은 Snowflake 설명서의 SYSTEM$GET_PRIVATELINK_CONFIG 시스템 함수의 반환 값 섹션을 참조하세요. 이 항목에서 계정 설정의 이름은 JSON 형식입니다.

참고

해당되는 경우, 설명은 Snowflake 계정을 참조하지만, 사용자의 값은 실제로는 Snowflake Open Catalog 계정에 대한 것임을 기억하세요. 예를 들어, privatelink-account-url은 Snowflake Open Catalog 계정의 URL입니다.

선택 사항: JSON 형식으로 이러한 값을 검색하려면, Open Catalog에 대한 Snowflake CLI 연결 생성 후, SYSTEM$GET_PRIVATELINK_CONFIG 시스템 함수를 호출하세요.

2단계: Azure Private Link를 사용하여 Open Catalog에 대한 액세스 구성¶

주의

이 섹션에서는 VNet 환경 구성과 관련하여 Open Catalog에만 해당하는 자세한 내용을 설명합니다. 또한, Snowflake는 필수 방화벽 업데이트 및 DNS 레코드를 실제로 구성하지 않음에 유의하세요. 이러한 구성 작업과 관련한 문제가 발생하면 Microsoft 지원에 직접 문의해야 합니다.

이 섹션에서는 Azure Private Link를 사용하여 VNet을 Open Catalog VNet에 연결하는 방법을 설명합니다.

지침을 완료하려면 Azure CLI 또는 Azure PowerShell을 사용해야 합니다. 설치 도움말은 Azure CLI 또는 Azure PowerShell에 대한 Microsoft 설명서를 참조하세요.

Azure Private Link를 사용하여 Snowflake Open Catalog에 연결을 시작한 후에는 Azure 포털에서 연결의 승인 상태를 확인할 수 있습니다.

비공개 엔드포인트 만들기¶

참고

이미 Snowflake 계정에 대한 비공개 엔드포인트를 만들었고 계정이 Open Catalog 계정과 동일한 배포에 있는 경우, Open Catalog 계정에 대한 새로운 비공개 엔드포인트를 생성할 필요는 없습니다. 선택적으로 이 단계를 건너뛸 수 있습니다.

Azure 계정 세부 정보를 검색합니다. 다음 예에서는 Azure CLI의 az account list 명령을 사용합니다.

Name     CloudName   SubscriptionId                        State    IsDefault
-------  ----------  ------------------------------------  -------  ----------
MyCloud  AzureCloud  13c...                                Enabled  True

Copy

Azure 포털에서 비공개 링크를 검색한 다음, 결과에서 비공개 링크를 선택합니다.
비공개 엔드포인트를 클릭한 다음, 추가를 클릭합니다.
기본 탭에서 환경에 대한 구독, 리소스 그룹, 이름, 리전 필드를 작성한 후 다음: 리소스를 클릭합니다.
리소스 탭에서 연결 방법에 대해 리소스 ID 또는 별칭으로 Azure 리소스에 연결을 선택합니다.
리소스 ID 또는 별칭의 경우, 비공개 연결을 위한 Open Catalog 계정 설정 검색 시 얻은 Private Link Service ID의 값을 입력합니다.

별칭 값과 관련된 오류 메시지가 표시되면 Snowflake 지원에 리소스 ID 값에 대해 문의한 다음, 해당 값을 사용하여 이 단계를 반복합니다.

비공개 엔드포인트가 승인되면 Private Link Center 페이지의 비공개 엔드포인트 섹션에 있는 CONNECTION STATE에 값으로 보류 중이 표시됩니다. 다음 절차에서 인증을 완료하면 이 값이 승인됨으로 변경됩니다.

인바운드 비공개 연결 활성화¶

이 절차에서는 Open Catalog 계정에 대해 Azure Private Link를 활성화합니다. 이 구성으로 쿼리 엔진이 비공개 연결을 통해 Open Catalog에 연결할 수 있습니다. 비공개 엔드포인트 리소스 ID, 구독 ID, 페더레이션 사용자에 대한 액세스 자격 증명이 포함된 페더레이션 토큰 값이 필요합니다.

이러한 값을 얻으려면 Azure CLI에서 다음 명령을 실행하세요.
1. 비공개 엔드포인트 리소스 ID를 얻으려면 다음 명령을 실행하고 값을 텍스트 편집기에 복사합니다.
  az network private-endpoint show
  Copy
2. 구독 ID를 얻으려면 다음 명령을 실행하고 출력의 SubscriptionID 열에 있는 값을 기록하세요.
  az account list --output table
  Copy
3. 페더레이션 토큰 값을 얻으려면 다음 명령을 실행하고 accessToken 값을 텍스트 편집기에 복사합니다.
  az account get-access-token --subscription <SubscriptionID>
  Copy
  - 여기서: SubscriptionID는 이전 단계에서 얻은 고유 식별자입니다.
  중요
  
  Azure 액세스 토큰을 생성하는 사용자는 구독에 대한 읽기 권한이 있어야 합니다. 최소 권한은 Microsoft.Subscription/subscriptions/acceptOwnershipStatus/read입니다. 또는 기본 역할 Reader 는 보다 대략적으로 세분화된 권한을 부여합니다.
  
  accessToken 값은 민감한 정보이므로 비밀번호 값처럼 취급해야 합니다. 이 값을 공유하지 마세요.
  
  Snowflake 지원에 문의해야 하는 경우 모든 명령과 URL에서 액세스 토큰을 수정한 후 지원 티켓을 생성하십시오.
Snowflake Open Catalog에 로그인합니다.
탐색 메뉴에서 설정을 선택합니다.
승인을 선택합니다.
Private Link 승인 대화 상자에서 계정에 대한 비공개 연결을 활성화합니다.
1. ID에는 텍스트 편집기에 복사한 비공개 엔드포인트 리소스 ID를 입력합니다.
2. 페더레이션 토큰에는 텍스트 편집기에 복사한 페더레이션 토큰 값을 입력합니다.
3. 저장을 선택합니다.

계정이 승인되었는지 확인¶

다음 단계에 따라 Open Catalog 계정에 Snowflake Open Catalog 서비스에 대한 비공개 연결이 승인되었는지 확인합니다.

Snowflake Open Catalog에 로그인합니다.
탐색 메뉴에서 설정을 선택합니다.
가져오기를 선택합니다.
Private Link 승인 가져오기 대화 상자에서 계정을 확인합니다.
1. ID 필드에서 비공개 엔드포인트 리소스 ID를 입력합니다. 인바운드 비공개 연결 활성화 시 이 값을 검색했습니다.
2. 페더레이션 토큰 필드에 페더레이션 토큰 값을 입력합니다. 인바운드 비공개 연결 활성화 시 이 값을 검색했습니다.
3. 저장을 선택합니다. 계정이 승인되었는지 여부를 나타내는 메시지가 표시됩니다.

DNS 설정¶

Open Catalog에 대한 모든 요청은 비공개 엔드포인트를 통해 라우팅되어야 합니다. Open Catalog 계정 및 비공개 엔드포인트의 비공개 IP 주소로 연결되는 OCSP URLs를 확인하려면 DNS를 업데이트하세요.

엔드포인트 IP 주소를 가져오려면 Azure Portal 검색 창에 생성한 비공개 엔드포인트의 이름을 입력하세요.
네트워크 인터페이스 결과를 선택합니다.
비공개 IP 주소의 값을 복사합니다.
비공개 연결을 위한 Open Catalog 계정 설정의 적절한 엔드포인트 값이 비공개 IP 주소로 확인되도록 DNS를 구성하세요.

3단계: Azure Private Link를 통해 Open Catalog에 연결¶

서비스 연결을 등록하고 Azure Private Link를 통해 쿼리 엔진을 Open Catalog에 연결하려면 다음 코드를 사용하세요.

import pyspark
from pyspark.sql import SparkSession

spark = SparkSession.builder.appName('iceberg_lab') \
  .config('spark.jars.packages', 'org.apache.iceberg:iceberg-spark-runtime-3.5_2.12:1.4.1,<maven_coordinate>') \
  .config('spark.sql.extensions', 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions') \
  .config('spark.sql.defaultCatalog', 'opencatalog') \
  .config('spark.sql.catalog.opencatalog', 'org.apache.iceberg.spark.SparkCatalog') \
  .config('spark.sql.catalog.opencatalog.type', 'rest') \
  .config('spark.sql.catalog.opencatalog.uri','https://<open_catalog_privatelink_account_url>/polaris/api/catalog') \
  .config('spark.sql.catalog.opencatalog.header.X-Iceberg-Access-Delegation','vended-credentials') \
  .config('spark.sql.catalog.opencatalog.credential','<client_id>:<client_secret>') \
  .config('spark.sql.catalog.opencatalog.warehouse','<catalog_name>') \
  .config('spark.sql.catalog.opencatalog.scope','PRINCIPAL_ROLE:<principal_role_name>') \
  .getOrCreate()

Copy

매개 변수¶

참고

DNS 서비스를 <open_catalog_account_identifier>에 대해 지정한 값과 일치하도록 설정했는지 확인합니다.

매개 변수	설명
`<catalog_name>`	연결할 카탈로그의 이름을 지정합니다. 중요: <catalog_name>은 대/소문자를 구분합니다.
`<maven_coordinate>`	외부 클라우드 저장소 공급자에 대한 Maven 좌표를 지정합니다. S3: software.amazon.awssdk:bundle:2.20.160 클라우드 저장소(Google에서 제공): org.apache.iceberg:iceberg-gcp-bundle:1.5.2 Azure: org.apache.iceberg:iceberg-azure-bundle:1.5.2 이 매개 변수가 보이지 않는 경우, 코드 샘플에 올바른 값이 이미 지정되어 있는 것입니다.
`<client_id>`	서비스 주체가 사용할 클라이언트 ID를 지정합니다. 새 서비스 연결을 구성할 때 복사한 클라이언트 ID를 입력하세요.
`<client_secret>`	서비스 주체가 사용할 클라이언트 시크릿을 지정합니다. 새 서비스 연결을 구성할 때 복사한 시크릿을 입력하세요.
`<open_catalog_privatelink_account_url>`	URL을 지정해 AWS PrivateLink 또는 Azure Private Link를 사용하여 Snowflake 계정에 연결합니다. Open Catalog 계정 설정을 검색할 때 복사한 다음 값 중 하나를 입력합니다. PrivateLink 계정 URL 리전 없는 PrivateLink 계정 URL Open Catalog 계정 설정 검색에 대한 자세한 내용은 Open Catalog 계정이 호스팅되는 클라우드 플랫폼에 대한 지침을 참조하세요. AWS Azure
`<principal_role_name>`	서비스 주체에게 부여되는 주체 역할을 지정합니다. 이 주체 역할을 보려면 Open Catalog에서 연결 페이지를 선택하고 서비스 연결을 선택한 다음, 주체 세부 정보 대화 상자에서 주체 역할을 참조하세요.

4단계(선택 사항): Snowflake에 대한 카탈로그 통합 생성¶

Snowflake를 사용하여 Open Catalog에서 관리하는 테이블을 쿼리하는 경우, 비공개 IP 주소를 사용하는 Snowflake용 카탈로그를 생성합니다. 이 카탈로그 통합을 생성하려면 Snowflake 계정이 Open Catalog 계정과 동일한 배포에 있어야 합니다.

예를 보려면 Snowflake 설명서의 예시: 비공개 IP 주소를 사용하는 카탈로그 통합<https://docs.snowflake.com/en/user-guide/tables-iceberg-open-catalog-query#example-catalog-integration-that-uses-a-private-ip-address>_ 섹션을 참조하세요.

참고

Snowflake Open Catalog UI에 대한 비공개 연결을 구성할 수도 있습니다. 이 구성과 Open Catalog 계정에 대한 비공개 연결 구성을 함께 사용하면, 공용 인터넷이 아닌 비공개 연결을 통해 Open Catalog UI에 액세스할 수 있습니다.

이 액세스를 구성하려면 Snowflake Open Catalog UI용 비공개 연결 구성 섹션을 참조하세요.