Azure Blob 저장소에 대해 자동으로 외부 테이블 새로 고치기¶

1단계: Snowflake에서 클라우드 저장소 통합 만들기¶

CREATE STORAGE INTEGRATION 명령을 사용하여 저장소 통합을 생성합니다. 저장소 통합은 허용되거나 차단된 저장소 위치(즉, 컨테이너)의 선택적 세트과 함께 Azure 클라우드 저장소에 대해 생성된 서비스 주체를 저장하는 Snowflake 오브젝트입니다. 조직의 클라우드 공급자 관리자는 생성된 서비스 주체에게 저장소 위치에 대한 권한을 부여합니다. 이 옵션을 사용하면 사용자가 스테이지를 생성하거나 데이터를 로드할 때 자격 증명을 제공하지 않아도 됩니다.

단일 저장소 통합은 여러 외부(즉, Azure) 스테이지를 지원할 수 있습니다. 스테이지 정의의 URL은 STORAGE_ALLOWED_LOCATIONS 매개 변수에 대해 지정된 Azure 컨테이너(및 선택적 경로)와 일치해야 합니다.

CREATE STORAGE INTEGRATION <integration_name>
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'AZURE'
  ENABLED = TRUE
  AZURE_TENANT_ID = '<tenant_id>'
  STORAGE_ALLOWED_LOCATIONS = ('azure://<account>.blob.core.windows.net/<container>/<path>/', 'azure://<account>.blob.core.windows.net/<container>/<path>/')
  [ STORAGE_BLOCKED_LOCATIONS = ('azure://<account>.blob.core.windows.net/<container>/<path>/', 'azure://<account>.blob.core.windows.net/<container>/<path>/') ]

여기서

• integration_name 은 새 통합의 이름입니다.

• tenant_id 는 허용 및 차단된 저장소 계정이 속한 Office 365 테넌트의 ID입니다. 저장소 통합은 하나의 tenant에만 인증할 수 있으므로, 허용 및 차단된 저장소 위치는 모두 이 tenant에 속하는 저장소 계정을 참조해야 합니다.

  Tenant ID를 찾으려면 Azure 포털에 로그인하여 Azure Active Directory » Properties 를 클릭하십시오. tenant ID는 Tenant ID 필드에 표시됩니다.

• container 는 데이터 파일을 저장하는 Azure 컨테이너의 이름입니다(예: mycontainer). STORAGE_ALLOWED_LOCATIONS 및 STORAGE_BLOCKED_LOCATIONS 매개 변수는 이 통합을 참조하는 스테이지가 생성되거나 수정될 때 이러한 컨테이너에 대한 액세스를 각각 허용하거나 차단합니다.

• path 는 컨테이너의 논리적 디렉터리를 세부적으로 제어하기 위해 사용할 수 있는 선택적 경로입니다.

다음 예에서는 두 컨테이너 및 경로 중 하나를 참조하기 위해 통합을 사용하는 외부 스테이지를 명시적으로 제한하는 통합을 생성합니다. 이후 단계에서 이러한 컨테이너 및 경로 중 하나를 참조하는 외부 스테이지를 생성합니다. 이 통합을 사용하는 여러 외부 스테이지는 허용되는 컨테이너 및 경로를 참조할 수 있습니다.

CREATE STORAGE INTEGRATION azure_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'AZURE'
  ENABLED = TRUE
  AZURE_TENANT_ID = 'a123b4c5-1234-123a-a12b-1a23b45678c9'
  STORAGE_ALLOWED_LOCATIONS = ('azure://myaccount.blob.core.windows.net/mycontainer1/mypath1/', 'azure://myaccount.blob.core.windows.net/mycontainer2/mypath2/')
  STORAGE_BLOCKED_LOCATIONS = ('azure://myaccount.blob.core.windows.net/mycontainer1/mypath1/sensitivedata/', 'azure://myaccount.blob.core.windows.net/mycontainer2/mypath2/sensitivedata/');

Copy

2단계: 저장소 위치에 Snowflake 액세스 권한 부여¶

1. DESCRIBE INTEGRATION 명령을 실행하여 동의 URL을 검색합니다.

   DESC STORAGE INTEGRATION <integration_name>;
   

   Copy

   여기서

   • integration_name 은 1단계: Snowflake에서 클라우드 저장소 통합 만들기 에서 생성한 통합의 이름입니다.

다음 열의 값을 참고하십시오.

AZURE_CONSENT_URL

Microsoft 권한 요청 페이지에 대한 URL입니다.

AZURE_MULTI_TENANT_APP_NAME

계정에 대해 생성된 Snowflake 클라이언트 애플리케이션의 이름입니다. 이 섹션의 이후 단계에서는 허용되는 저장소 위치에 대한 액세스 토큰을 획득하기 위해 필요한 권한을 이 애플리케이션에 부여해야 합니다.

1. 웹 브라우저에서 AZURE_CONSENT_URL 열의 URL로 이동합니다. 페이지에 Microsoft 권한 요청 페이지가 표시됩니다.

2. Accept 버튼을 클릭합니다. 이 작업을 통해 Snowflake 계정에 대해 생성된 Azure 서비스 주체에게 tenant 내부의 지정된 리소스에 대한 액세스 토큰이 부여됩니다. 액세스 토큰은 서비스 주체에 컨테이너에 대한 적절한 권한을 부여한 경우에만 획득이 가능합니다(다음 단계 참조).

   Microsoft 권한 요청 페이지가 Snowflake 회사 사이트(snowflake.com)로 리디렉션됩니다.

3. Microsoft Azure 포털에 로그인합니다.

4. Azure Services » Storage Accounts 으로 이동합니다. Snowflake 서비스 주체 액세스 권한을 부여할 저장소 계정의 이름을 클릭합니다.

5. Access Control (IAM) » Add role assignment 를 클릭합니다.

6. Snowflake 서비스 주체에게 부여할 역할을 선택합니다.

   • Storage Blob Data Reader 는 읽기 액세스 권한만 부여합니다. 이를 통해 저장소 계정의 스테이징된 파일에서 데이터를 로드할 수 있습니다.

   • Storage Blob Data Contributor 는 읽기 및 쓰기 권한을 부여합니다. 이를 통해 저장소 계정의 스테이징된 파일에서 데이터를 로드하거나 데이터를 언로드할 수 있습니다. 이 역할을 통해 REMOVE 명령을 실행하여 저장소 계정의 스테이징된 파일을 제거할 수도 있습니다.

7. Snowflake 서비스 포털 주체를 검색합니다. DESC STORAGE INTEGRATION 출력(1단계)에서 AZURE_MULTI_TENANT_APP_NAME 속성의 ID입니다. AZURE_MULTI_TENANT_APP_NAME 속성에서 밑줄 앞의 문자열을 검색합니다.

   중요

   • Azure에서 이 섹션의 Microsoft 요청 페이지를 통해 요청한 Snowflake 서비스 주체를 생성하기 위해서는 1시간이 이상 걸릴 수 있습니다. 서비스 주체를 즉시 사용할 수 없는 경우 1~2시간 기다린 후 다시 검색하는 것이 좋습니다.

   • 서비스 주체를 삭제하면 저장소 통합이 작동을 중지합니다.

   

8. Review + assign 버튼을 클릭합니다.

   참고

   • Microsoft Azure 설명서에 따르면 역할 할당을 전파하기 위해서는 최대 5분이 걸릴 수 있습니다.

   • Snowflake는 어떤 기간 동안(60분의 만료 시간을 초과할 수는 없음) 임시 자격 증명을 캐시합니다. Snowflake에서 액세스를 취소하면 캐시가 만료될 때까지 사용자가 파일을 나열하고 클라우드 저장소 위치에서 데이터를 로딩할 수 있습니다.

1단계: Event Grid 구독 구성하기¶

이 섹션에서는 Azure CLI를 사용하여 Azure 저장소 이벤트에 대한 Event Grid 구독을 설정하는 방법을 설명합니다. 이 섹션에 설명되는 단계에 대한 자세한 내용은 Azure 설명서에서 다음 문서를 참조하십시오.

• https://docs.microsoft.com/en-us/azure/event-grid/custom-event-to-queue-storage

• https://docs.microsoft.com/en-us/azure/storage/blobs/storage-blob-event-quickstart

az group create --name <resource_group_name> --location <location>

az provider register --namespace Microsoft.EventGrid
az provider show --namespace Microsoft.EventGrid --query "registrationState"

az storage account create --resource-group <resource_group_name> --name <storage_account_name> --sku Standard_LRS --location <location> --kind BlobStorage --access-tier Hot

az storage account create --resource-group <resource_group_name> --name <storage_account_name> --sku Standard_LRS --location <location> --kind StorageV2

az storage queue create --name <storage_queue_name> --account-name <storage_account_name>

az extension add --name eventgrid

2단계: 알림 통합 만들기¶

알림 통합은 Snowflake와 Azure Event Grid와 같은 서드 파티 클라우드 메시지 큐 서비스 간의 인터페이스를 제공하는 Snowflake 오브젝트입니다.

CREATE NOTIFICATION INTEGRATION <integration_name>
  ENABLED = true
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AZURE_STORAGE_QUEUE
  AZURE_STORAGE_QUEUE_PRIMARY_URI = '<queue_URL>'
  AZURE_TENANT_ID = '<directory_ID>';

CREATE NOTIFICATION INTEGRATION my_notification_int
  ENABLED = true
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AZURE_STORAGE_QUEUE
  AZURE_STORAGE_QUEUE_PRIMARY_URI = 'https://myqueue.queue.core.windows.net/mystoragequeue'
  AZURE_TENANT_ID = 'a123bcde-1234-5678-abc1-9abc12345678';

3단계: 스테이지 만들기(필요한 경우)¶

CREATE STAGE 명령을 사용하여 Azure 컨테이너를 참조하는 외부 스테이지를 생성합니다. Snowflake는 스테이징된 데이터 파일을 외부 테이블 메타데이터로 읽습니다. 아니면 기존 외부 스테이지를 사용할 수 있습니다.

다음 예에서는 사용자 세션에 대한 활성 스키마에 이름이 mystage 인 스테이지를 생성합니다. 클라우드 저장소 URL에는 files 경로가 포함됩니다. 스테이지는 my_storage_int 저장소 통합을 참조합니다.

USE SCHEMA mydb.public;

CREATE STAGE mystage
  URL='azure://myaccount.blob.core.windows.net/mycontainer/files/'
  STORAGE_INTEGRATION = my_storage_int;

Copy

4단계: 외부 테이블 만들기¶

CREATE EXTERNAL TABLE 명령을 사용하여 외부 테이블을 생성합니다.

예를 들어, path1/ 경로가 포함된 mystage 스테이지의 스테이징된 파일에서 JSON 데이터를 읽는 mydb.public 스키마에 외부 테이블을 생성합니다.

INTEGRATION 매개 변수는 2단계: 알림 통합 만들기 에서 생성한 my_notification_int 알림 통합을 참조하십시오. 통합 이름은 모두 대문자로 입력해야 합니다.

알림 통합이 제공되는 경우 AUTO_REFRESH 매개 변수는 기본적으로 TRUE 입니다. 알림 통합이 없는 경우 AUTO_REFRESH는 항상 FALSE 입니다.

CREATE OR REPLACE EXTERNAL TABLE ext_table
 INTEGRATION = 'MY_NOTIFICATION_INT'
 WITH LOCATION = @mystage/path1/
 FILE_FORMAT = (TYPE = JSON);

이제 자동 새로 고침이 포함된 외부 스테이지가 구성되었습니다!

새 데이터 파일 또는 업데이트된 데이터 파일이 Azure 컨테이너에 추가되면 이벤트 알림은 Snowflake에 이를 외부 테이블 메타데이터로 스캔하도록 알립니다.

5단계: 외부 테이블 메타데이터를 수동으로 새로 고치기¶

REFRESH 매개 변수와 함께 ALTER EXTERNAL TABLE 을 사용하여 외부 테이블 메타데이터를 수동으로 새로 고칩니다. 예:

ALTER EXTERNAL TABLE ext_table REFRESH;

+---------------------------------------------+----------------+-------------------------------+
| file                                        | status         | description                   |
|---------------------------------------------+----------------+-------------------------------|
| files/path1/file1.json                      | REGISTERED_NEW | File registered successfully. |
| files/path1/file2.json                      | REGISTERED_NEW | File registered successfully. |
| files/path1/file3.json                      | REGISTERED_NEW | File registered successfully. |
+---------------------------------------------+----------------+-------------------------------+

Copy

이 단계는 메타데이터를 스테이지의 파일 목록과 외부 테이블 정의의 경로와 동기화합니다. 또한, 이 단계에서는 외부 테이블이 지정된 스테이지와 경로의 데이터 파일을 읽을 수 있고 외부 테이블 정의에서 누락된 파일이 없는지 확인합니다.

file 열의 파일 목록이 예상과 일치하지 않으면 외부 테이블 정의 및 외부 스테이지 정의의 경로를 확인하십시오. 외부 테이블 정의의 모든 경로는 스테이지 정의에 지정된 경로에 추가됩니다. 자세한 내용은 CREATE EXTERNAL TABLE 섹션을 참조하십시오.

이 단계는 메타데이터가 4단계 이후 발생한 파일 목록의 변경 사항과 동기화되도록 합니다. 그 후 Event Grid 알림은 메타데이터 새로 고침을 자동으로 트리거합니다.

6단계: 보안 구성하기¶

외부 테이블을 쿼리하는 데 사용할 각 추가 역할에 대해 GRANT <권한> 를 사용하여 다양한 오브젝트(즉, 데이터베이스, 스키마, 스테이지 및 테이블)에 대한 충분한 액세스 제어 권한을 부여합니다.