Microsoft Azure BLOBストレージ用Snowpipeの自動化¶

リソースグループを作成する¶

Event Grid トピック は、ソース（つまり、Azureストレージ）がイベントを送信するエンドポイントを提供します。トピックは、関連するイベントのコレクションに使用されます。Event GridトピックはAzureリソースであり、Azureリソースグループに配置する必要があります。

次のコマンドを実行して、リソースグループを作成します。

az group create --name <resource_group_name> --location <location>

条件:

• resource_group_name は、新しいリソースグループの名前です。

• location は、Azure Storageアカウントの場所、またはSnowflakeの用語では リージョン です。

Event Gridリソースプロバイダーの有効化¶

次のコマンドを実行して、Event Gridリソースプロバイダーを登録します。この手順は、AzureアカウントでEvent Gridを使用したことがない場合にのみ必要です：

az provider register --namespace Microsoft.EventGrid
az provider show --namespace Microsoft.EventGrid --query "registrationState"

データファイル用のストレージアカウントの作成¶

次のコマンドを実行して、データファイルを保存するストレージアカウントを作成します。このアカウントは、BLOBストレージ（つまり、 BlobStorage の種類）または GPv2 （つまり、 StorageV2 の種類）アカウントでなければなりません。これら2つのアカウントタイプのみがイベントメッセージをサポートするためです。

たとえば、BLOBストレージアカウントを作成します。

az storage account create --resource-group <resource_group_name> --name <storage_account_name> --sku Standard_LRS --location <location> --kind BlobStorage --access-tier Hot

条件:

• resource_group_name は、 リソースグループを作成する で作成したリソースグループの名前です。

• storage_account_name は、新しいストレージアカウントの名前です。

• location は、Azure Storageアカウントの場所です。

ストレージキューのストレージアカウントの作成¶

次のコマンドを実行して、ストレージキューをホストするストレージアカウントを作成します。このアカウントは GPv2 アカウントでなければなりません。この種類のアカウントのみがストレージキューへのイベントメッセージをサポートするためです。

例えば、 GPv2 アカウントを作成します：

az storage account create --resource-group <resource_group_name> --name <storage_account_name> --sku Standard_LRS --location <location> --kind StorageV2

条件:

• resource_group_name は、 リソースグループを作成する で作成したリソースグループの名前です。

• storage_account_name は、新しいストレージアカウントの名前です。

• location は、Azure Storageアカウントの場所です。

ストレージキューの作成¶

1つのAzure Queue Storageキューで、多くのEvent Gridサブスクリプションのイベントメッセージを収集できます。最高のパフォーマンスを得るために、Snowflakeは、Snowflakeに関連するすべてのサブスクリプションに対応する、単一のストレージキューを作成することをお勧めします。

次のコマンドを実行して、ストレージキューを作成します。ストレージキューには、一連のメッセージ、この場合はEvent Gridからのイベントメッセージが格納されます：

az storage queue create --name <storage_queue_name> --account-name <storage_account_name>

条件:

• storage_queue_name は、新しいストレージキューの名前です。

• storage_account_name は、 ストレージキューのストレージアカウントを作成する で作成したストレージアカウントの名前です。

参照用のストレージアカウントとキュー IDs のエクスポート¶

次のコマンドを実行して、次の手順の際にのちほどリクエストされる、ストレージアカウントとキュー IDs の環境変数を設定します。

• Linuxまたは macOS：

  export storageid=$(az storage account show --name <data_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  export queuestorageid=$(az storage account show --name <queue_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  export queueid="$queuestorageid/queueservices/default/queues/<storage_queue_name>"
  

  Copy

• Windows：

  set storageid=$(az storage account show --name <data_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  set queuestorageid=$(az storage account show --name <queue_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  set queueid="%queuestorageid%/queueservices/default/queues/<storage_queue_name>"
  

  Copy

条件:

• data_storage_account_name は、 データファイル用のストレージアカウントを作成する で作成したストレージアカウントの名前です。

• queue_storage_account_name は、 ストレージキューのストレージアカウントを作成する で作成したストレージアカウントの名前です。

• resource_group_name は、 リソースグループを作成する で作成したリソースグループの名前です。

• storage_queue_name は、 ストレージキューを作成する で作成したストレージキューの名前です。

Event Grid拡張機能のインストール¶

次のコマンドを実行して、Azure CLIのEvent Grid拡張機能をインストールします：

az extension add --name eventgrid

Event Gridサブスクリプションの作成¶

次のコマンドを実行して、Event Gridサブスクリプションを作成します。トピックをサブスクライブすると、Event Gridに追跡するイベントが通知されます：

• Linuxまたは macOS：

  az eventgrid event-subscription create \
  --source-resource-id $storageid \
  --name <subscription_name> --endpoint-type storagequeue \
  --endpoint $queueid \
  --advanced-filter data.api stringin CopyBlob PutBlob PutBlockList FlushWithClose SftpCommit
  

  Copy

• Windows：

  az eventgrid event-subscription create \
  --source-resource-id %storageid% \
  --name <subscription_name> --endpoint-type storagequeue \
  --endpoint %queueid% \
  -advanced-filter data.api stringin CopyBlob PutBlob PutBlockList FlushWithClose SftpCommit
  

  Copy

条件:

• storageid および queueid は、 参照用のストレージアカウントとキュー IDs のエクスポート で設定したストレージアカウントとキューの ID 環境変数です。

• subscription_name は、新しいEvent Gridサブスクリプションの名前です。

ストレージキュー URL およびテナント ID の取得¶

1. Microsoft Azureポータルにログインします。

2. Storage account » Queue service » Queues に移動します。後で参照できるように、 ストレージキューの作成 で作成したキューの URL を記録します。 URL の形式は次のとおりです。

   https://<storage_account_name>.queue.core.windows.net/<storage_queue_name>
   

   Copy

3. Azure Active Directory » Properties に移動します。後で参照できるように、 Tenant ID 値を記録します。Event GridサブスクリプションへのSnowflakeアクセスを許可する同意 URL を生成するには、ディレクトリ IDまたは テナント ID が必要です。

通知統合の作成¶

CREATE NOTIFICATION INTEGRATION コマンドを使用して通知統合を作成します。

CREATE NOTIFICATION INTEGRATION <integration_name>
  ENABLED = true
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AZURE_STORAGE_QUEUE
  AZURE_STORAGE_QUEUE_PRIMARY_URI = '<queue_URL>'
  AZURE_TENANT_ID = '<directory_ID>';

条件:

• integration_name は、新しい統合の名前です。

• queue_URL および directory_ID は、 ストレージキュー URL およびテナント ID の取得 で記録したキュー URL およびテナント ID です。

例:

CREATE NOTIFICATION INTEGRATION my_notification_int
  ENABLED = true
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AZURE_STORAGE_QUEUE
  AZURE_STORAGE_QUEUE_PRIMARY_URI = 'https://myqueue.queue.core.windows.net/mystoragequeue'
  AZURE_TENANT_ID = 'a123bcde-1234-5678-abc1-9abc12345678';

ストレージキューへのSnowflakeアクセスの許可¶

このセクションの特定のステップでは、Azure CLI をローカルにインストールする必要があることに注意してください。

1. DESCRIBE INTEGRATION コマンドを実行して、同意 URL を取得します。

   DESC NOTIFICATION INTEGRATION <integration_name>;
   

   Copy

   条件:

   • integration_name は、 通知統合を作成する で作成した統合の名前です。

   次の列の値に注意します。

   AZURE_CONSENT_URL:

   Microsoftのアクセス許可リクエストページへの URL。

   AZURE_MULTI_TENANT_APP_NAME:

   アカウント用に作成されたSnowflakeクライアントアプリケーションの名前。このセクションの後半のステップでは、このアプリケーションに、許可されたトピックでアクセストークンを取得するために必要な権限を付与する必要があります。

2. ウェブブラウザーで AZURE_CONSENT_URL 列にある URL に移動します。このページには、Microsoft許可リクエストページが表示されます。

3. Accept ボタンをクリックします。このアクションにより、Snowflakeアカウント用に作成されたAzureサービスプリンシパルは、テナント内のリソースでアクセストークンを取得できます。アクセストークンの取得は、コンテナーに対する適切なアクセス許可をサービスプリンシパルに付与した場合にのみ成功します（次のステップを参照）。

   Microsoftの権限リクエストページは、Snowflakeの企業サイト（snowflake.com）にリダイレクトされます。

4. Microsoft Azureポータルにログインします。

5. Azure Active Directory » Enterprise applications に移動します。このセクションのステップ2で記録した、Snowflakeアプリケーション識別子がリストされていることを確認します。

   重要

   Azure Active DirectoryでSnowflakeアプリケーションを後で削除すると、通知統合が機能しなくなります。

6. Queues » storage_queue_name に移動します。 storage_queue_name は、 ストレージキューの作成 で作成したストレージキューの名前です。

7. Access Control (IAM) » Add role assignment をクリックします。

8. Snowflakeサービスプリンシパルを検索します。これは DESC NOTIFICATION INTEGRATION 出力（ステップ1）の AZURE_MULTI_TENANT_APP_NAME プロパティにあるIDです。AZURE_MULTI_TENANT_APP_NAME プロパティで、アンダースコアの 前にある 文字列を検索します。

   重要

   • このセクションのMicrosoftリクエストページでリクエストされたSnowflakeサービスプリンシパルをAzureが作成するのに、1時間以上かかる場合があります。サービスプリンシパルがすぐに利用できない場合は、1～2時間待ってから、もう一度検索することをお勧めします。

   • サービスプリンシパルを削除すると、通知統合が機能しなくなります。

9. Snowflakeアプリに次の権限を付与します。

   • Role: ストレージキューデータコントリビューター

   • Assign access to: Azure AD のユーザー、グループ、またはサービスプリンシパル

   • Select: appDisplayName 値。

   Snowflakeアプリケーション識別子が Storage Queue Data Contributor の下にリストされるようになります（同じダイアログ上）。