Microsoft Azure Blob 저장소용 Snowpipe 자동화하기¶

리소스 그룹 만들기¶

Event Grid 항목 은 소스(즉, Azure 저장소)가 이벤트를 전송하는 엔드포인트을 제공합니다. 항목은 관련 이벤트 컬렉션에서 사용됩니다. Event Grid 항목은 Azure 리소스이며 Azure 리소스 그룹에 배치해야 합니다.

다음 명령을 실행하여 리소스 그룹을 생성합니다.

az group create --name <resource_group_name> --location <location>

여기서

• resource_group_name 은 새 리소스 그룹의 이름입니다.

• location 은 Azure 저장소 계정의 위치 또는 Snowflake 용어로 리전 입니다.

Event Grid 리소스 공급자 활성화¶

다음 명령을 실행하여 Event Grid 리소스 공급자를 등록합니다. 이 단계는 이전에 Azure 계정으로 Event Grid를 사용한 적이 없는 경우에만 필요합니다.

az provider register --namespace Microsoft.EventGrid
az provider show --namespace Microsoft.EventGrid --query "registrationState"

데이터 파일용 저장소 계정 만들기¶

다음 명령을 실행하여 데이터 파일을 저장할 저장소 계정을 생성합니다. 이 두 계정 유형만 이벤트 메시지를 지원하므로 이 계정은 반드시 Blob 저장소(즉, BlobStorage 타입) 또는 GPv2(즉, StorageV2 타입) 계정이어야 합니다.

예를 들어, Blob 저장소 계정을 생성합니다.

az storage account create --resource-group <resource_group_name> --name <storage_account_name> --sku Standard_LRS --location <location> --kind BlobStorage --access-tier Hot

여기서

• resource_group_name 은 리소스 그룹 만들기 에서 생성한 리소스 그룹의 이름입니다.

• storage_account_name 은 새 저장소 계정의 이름입니다.

• location 은 Azure Storage 계정의 위치입니다.

저장소 큐용 저장소 계정 만들기¶

다음 명령을 실행하여 저장소 큐를 호스팅할 저장소 계정을 생성합니다. 이러한 종류의 계정만 저장소 큐에 대한 이벤트 메시지를 지원하므로 이 계정은 GPv2 계정이어야 합니다.

예를 들어, GPv2 계정을 생성합니다.

az storage account create --resource-group <resource_group_name> --name <storage_account_name> --sku Standard_LRS --location <location> --kind StorageV2

여기서

• resource_group_name 은 리소스 그룹 만들기 에서 생성한 리소스 그룹의 이름입니다.

• storage_account_name 은 새 저장소 계정의 이름입니다.

• location 은 Azure Storage 계정의 위치입니다.

저장소 큐 만들기¶

단일 Azure Queue Storage 큐는 여러 Event Grid 구독과 관련한 이벤트 메시지를 수집할 수 있습니다. 최상의 성능을 위해 Snowflake는 Snowflake와 관련된 모든 구독을 수용할 단일 저장소 큐를 생성하는 것을 권장합니다.

다음 명령어를 실행하여 저장소 큐를 생성합니다. 저장소 큐는 메시지 세트를 저장하며, 이 경우 Event Grid의 이벤트 메시지는 다음과 같습니다.

az storage queue create --name <storage_queue_name> --account-name <storage_account_name>

여기서

• storage_queue_name 은 새 저장소 큐의 이름입니다.

• storage_account_name 은 저장소 큐용 저장소 계정 만들기 에서 생성한 저장소 계정의 이름입니다.

참조용으로 저장소 계정 및 큐 IDs 내보내기¶

다음 명령을 실행하여 이 지침의 이후에 요청할 저장소 계정 및 큐 IDs에 대한 환경 변수를 설정합니다.

• Linux 또는 macOS:

  export storageid=$(az storage account show --name <data_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  export queuestorageid=$(az storage account show --name <queue_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  export queueid="$queuestorageid/queueservices/default/queues/<storage_queue_name>"
  

  Copy

• Windows:

  set storageid=$(az storage account show --name <data_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  set queuestorageid=$(az storage account show --name <queue_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  set queueid="%queuestorageid%/queueservices/default/queues/<storage_queue_name>"
  

  Copy

여기서

• data_storage_account_name 은 데이터 파일용 저장소 계정 만들기 에서 생성한 저장소 계정의 이름입니다.

• queue_storage_account_name 은 저장소 큐용 저장소 계정 만들기 에서 생성한 저장소 계정의 이름입니다.

• resource_group_name 은 리소스 그룹 만들기 에서 생성한 리소스 그룹의 이름입니다.

• storage_queue_name 은 저장소 큐 만들기 에서 생성한 저장소 큐의 이름입니다.

Event Grid 확장 설치¶

다음 명령을 실행하여 Azure CLI용 Event Grid 확장을 설치합니다.

az extension add --name eventgrid

Event Grid 구독 만들기¶

다음 명령을 실행하여 Event Grid 구독을 생성합니다. 항목을 구독하면 추적할 이벤트에 대한 정보가 Event Grid에 제공됩니다.

• Linux 또는 macOS:

  az eventgrid event-subscription create \
  --source-resource-id $storageid \
  --name <subscription_name> --endpoint-type storagequeue \
  --endpoint $queueid \
  --advanced-filter data.api stringin CopyBlob PutBlob PutBlockList FlushWithClose SftpCommit
  

  Copy

• Windows:

  az eventgrid event-subscription create \
  --source-resource-id %storageid% \
  --name <subscription_name> --endpoint-type storagequeue \
  --endpoint %queueid% \
  -advanced-filter data.api stringin CopyBlob PutBlob PutBlockList FlushWithClose SftpCommit
  

  Copy

여기서

• storageid 및 queueid 는 참조용으로 저장소 계정 및 큐 IDs 내보내기 에서 설정한 저장소 계정 및 큐 ID 환경 변수입니다.

• subscription_name 은 새 Event Grid 구독의 이름입니다.

저장소 큐 URL 및 tenant ID 검색¶

1. Microsoft Azure 포털에 로그인합니다.

2. Storage account » Queue service » Queues 로 이동합니다. 나중에 참조할 수 있도록 저장소 큐 만들기 에서 생성한 큐의 URL을 기록합니다. URL의 형식은 다음과 같습니다.

   https://<storage_account_name>.queue.core.windows.net/<storage_queue_name>
   

   Copy

3. Azure Active Directory » Properties 으로 이동합니다. 나중에 참조할 수 있도록 Tenant ID 값을 기록합니다. ID 디렉터리 또는 tenant ID 는 Event Grid 구독에 대한 액세스 권한을 Snowflake에 부여하는 동의 URL을 생성하기 위해 필요합니다.

알림 통합 만들기¶

CREATE NOTIFICATION INTEGRATION 명령을 사용하여 알림 통합을 생성합니다.

CREATE NOTIFICATION INTEGRATION <integration_name>
  ENABLED = true
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AZURE_STORAGE_QUEUE
  AZURE_STORAGE_QUEUE_PRIMARY_URI = '<queue_URL>'
  AZURE_TENANT_ID = '<directory_ID>';

여기서

• integration_name 은 새 통합의 이름입니다.

• queue_URL 및 directory_ID 는 저장소 큐 URL 및 tenant ID 검색 에서 기록한 큐 URL 및 tenant ID입니다.

예:

CREATE NOTIFICATION INTEGRATION my_notification_int
  ENABLED = true
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AZURE_STORAGE_QUEUE
  AZURE_STORAGE_QUEUE_PRIMARY_URI = 'https://myqueue.queue.core.windows.net/mystoragequeue'
  AZURE_TENANT_ID = 'a123bcde-1234-5678-abc1-9abc12345678';

저장소 큐에 Snowflake 액세스 권한 부여¶

이 섹션의 특정 단계에서 Azure CLI를 로컬에 설치해야 합니다.

1. DESCRIBE INTEGRATION 명령을 실행하여 동의 URL을 검색합니다.

   DESC NOTIFICATION INTEGRATION <integration_name>;
   

   Copy

   여기서

   • integration_name 은 알림 통합 만들기 에서 생성한 통합의 이름입니다.

   다음 열의 값을 참고하십시오.

   AZURE_CONSENT_URL

   Microsoft 권한 요청 페이지에 대한 URL입니다.

   AZURE_MULTI_TENANT_APP_NAME

   계정에 대해 생성된 Snowflake 클라이언트 애플리케이션의 이름입니다. 이 섹션의 이후 단계에서는 허용되는 항목에 대한 액세스 토큰을 획득하기 위해 필요한 권한을 이 애플리케이션에 부여해야 합니다.

2. 웹 브라우저에서 AZURE_CONSENT_URL 열의 URL로 이동합니다. 페이지에 Microsoft 권한 요청 페이지가 표시됩니다.

3. Accept 버튼을 클릭합니다. 이 작업을 통해 Snowflake 계정에 대해 생성된 Azure 서비스 주체에게 tenant 내부의 모든 리소스에 대한 액세스 토큰이 부여됩니다. 액세스 토큰은 서비스 주체에 컨테이너에 대한 적절한 권한을 부여한 경우에만 획득이 가능합니다(다음 단계 참조).

   Microsoft 권한 요청 페이지가 Snowflake 회사 사이트(snowflake.com)로 리디렉션됩니다.

4. Microsoft Azure 포털에 로그인합니다.

5. Azure Active Directory » Enterprise applications 으로 이동합니다. 이 섹션의 2단계에서 기록한 Snowflake 애플리케이션 식별자가 나열되는지 확인합니다.

   중요

   나중에 Azure Active Directory에서 Snowflake 애플리케이션을 삭제하면 알림 통합의 작동이 중지됩니다.

6. Queues » storage_queue_name 으로 이동합니다. 여기서 storage_queue_name 은 저장소 큐 만들기 에서 생성한 저장소 큐의 이름입니다.

7. Access Control (IAM) » Add role assignment 를 클릭합니다.

8. Snowflake 서비스 포털 주체를 검색합니다. DESC NOTIFICATION INTEGRATION 출력(1단계)에서 AZURE_MULTI_TENANT_APP_NAME 속성의 ID입니다. AZURE_MULTI_TENANT_APP_NAME 속성에서 밑줄 앞의 문자열을 검색합니다.

   중요

   • Azure에서 이 섹션의 Microsoft 요청 페이지를 통해 요청한 Snowflake 서비스 주체를 생성하기 위해서는 1시간이 이상 걸릴 수 있습니다. 서비스 주체를 즉시 사용할 수 없는 경우 1~2시간 기다린 후 다시 검색하는 것이 좋습니다.

   • 서비스 주체를 삭제하면 알림 통합이 작동을 중지합니다.

9. Snowflake 앱에 다음 권한을 부여합니다.

   • Role: 저장소 큐 데이터 참가자

   • Assign access to: Azure AD 사용자, 그룹 또는 서비스 주체

   • Select: appDisplayName 값.

   이제 Snowflake 애플리케이션 식별자가 같은 대화 상자의 Storage Queue Data Contributor 아래에 나열되어야 합니다.