Azure BLOBストレージに対するディレクトリテーブルの自動更新¶

リソースグループを作成する¶

Event Grid トピック は、ソース（つまり、Azureストレージ）がイベントを送信するエンドポイントを提供します。トピックは、関連するイベントのコレクションに使用されます。Event GridトピックはAzureリソースであり、Azureリソースグループに配置する必要があります。

次のコマンドを実行して、リソースグループを作成します。

az group create --name <resource_group_name> --location <location>

条件:

• resource_group_name は、新しいリソースグループの名前です。

• location は、Azure Storageアカウントの場所、またはSnowflakeの用語では リージョン です。

Event Gridリソースプロバイダーの有効化¶

次のコマンドを実行して、Event Gridリソースプロバイダーを登録します。この手順は、AzureアカウントでEvent Gridを使用したことがない場合にのみ必要です：

az provider register --namespace Microsoft.EventGrid
az provider show --namespace Microsoft.EventGrid --query "registrationState"

データファイル用のストレージアカウントの作成¶

次のコマンドを実行して、データファイルを保存するストレージアカウントを作成します。このアカウントは、BLOBストレージ（つまり、 BlobStorage の種類）または GPv2 （つまり、 StorageV2 の種類）アカウントでなければなりません。これら2つのアカウントタイプのみがイベントメッセージをサポートするためです。

たとえば、BLOBストレージアカウントを作成します。

az storage account create --resource-group <resource_group_name> --name <storage_account_name> --sku Standard_LRS --location <location> --kind BlobStorage --access-tier Hot

条件:

• resource_group_name は、 リソースグループを作成する で作成したリソースグループの名前です。

• storage_account_name は、新しいストレージアカウントの名前です。

• location は、Azure Storageアカウントの場所です。

ストレージキューのストレージアカウントの作成¶

次のコマンドを実行して、ストレージキューをホストするストレージアカウントを作成します。このアカウントは GPv2 アカウントでなければなりません。この種類のアカウントのみがストレージキューへのイベントメッセージをサポートするためです。

例えば、 GPv2 アカウントを作成します：

az storage account create --resource-group <resource_group_name> --name <storage_account_name> --sku Standard_LRS --location <location> --kind StorageV2

条件:

• resource_group_name は、 リソースグループを作成する で作成したリソースグループの名前です。

• storage_account_name は、新しいストレージアカウントの名前です。

• location は、Azure Storageアカウントの場所です。

ストレージキューの作成¶

1つのAzure Queue Storageキューで、多くのEvent Gridサブスクリプションのイベントメッセージを収集できます。最高のパフォーマンスを得るために、Snowflakeは、Snowflakeに関連するすべてのサブスクリプションに対応する、単一のストレージキューを作成することをお勧めします。

次のコマンドを実行して、ストレージキューを作成します。ストレージキューには、一連のメッセージ、この場合はEvent Gridからのイベントメッセージが格納されます：

az storage queue create --name <storage_queue_name> --account-name <storage_account_name>

条件:

• storage_queue_name は、新しいストレージキューの名前です。

• storage_account_name は、 ストレージキューのストレージアカウントを作成する で作成したストレージアカウントの名前です。

参照用のストレージアカウントとキュー IDs のエクスポート¶

次のコマンドを実行して、次の手順の際にのちほどリクエストされる、ストレージアカウントとキュー IDs の環境変数を設定します。

• Linuxまたは macOS：

  export storageid=$(az storage account show --name <data_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  export queuestorageid=$(az storage account show --name <queue_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  export queueid="$queuestorageid/queueservices/default/queues/<storage_queue_name>"
  

  Copy

• Windows：

  set storageid=$(az storage account show --name <data_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  set queuestorageid=$(az storage account show --name <queue_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  set queueid="%queuestorageid%/queueservices/default/queues/<storage_queue_name>"
  

  Copy

条件:

• data_storage_account_name は、 データファイル用のストレージアカウントを作成する で作成したストレージアカウントの名前です。

• queue_storage_account_name は、 ストレージキューのストレージアカウントを作成する で作成したストレージアカウントの名前です。

• resource_group_name は、 リソースグループを作成する で作成したリソースグループの名前です。

• storage_queue_name は、 ストレージキューを作成する で作成したストレージキューの名前です。

Event Grid拡張機能のインストール¶

次のコマンドを実行して、Azure CLIのEvent Grid拡張機能をインストールします：

az extension add --name eventgrid

Event Gridサブスクリプションの作成¶

次のコマンドを実行して、Event Gridサブスクリプションを作成します。トピックをサブスクライブすると、Event Gridに追跡するイベントが通知されます：

• Linuxまたは macOS：

  az eventgrid event-subscription create \
  --source-resource-id $storageid \
  --name <subscription_name> --endpoint-type storagequeue \
  --endpoint $queueid \
  --advanced-filter data.api stringin CopyBlob PutBlob PutBlockList FlushWithClose SftpCommit DeleteBlob DeleteFile SftpRemove
  

  Copy

• Windows：

  az eventgrid event-subscription create \
  --source-resource-id %storageid% \
  --name <subscription_name> --endpoint-type storagequeue \
  --endpoint %queueid% \
  -advanced-filter data.api stringin CopyBlob PutBlob PutBlockList FlushWithClose SftpCommit DeleteBlob DeleteFile SftpRemove
  

  Copy

条件:

• storageid および queueid は、 参照用のストレージアカウントとキュー IDs のエクスポート で設定したストレージアカウントとキューの ID 環境変数です。

• subscription_name は、新しいEvent Gridサブスクリプションの名前です。

ストレージキュー URL およびテナント ID の取得¶

1. Microsoft Azureポータルにログインします。

2. Storage account » Queue service » Queues に移動します。後で参照できるように、 ストレージキューの作成 で作成したキューの URL を記録します。 URL の形式は次のとおりです。

   https://<storage_account_name>.queue.core.windows.net/<storage_queue_name>
   

   Copy

3. Azure Active Directory » Properties に移動します。後で参照できるように、 Tenant ID 値を記録します。Event GridサブスクリプションへのSnowflakeアクセスを許可する同意 URL を生成するには、ディレクトリ IDまたは テナント ID が必要です。

通知統合の作成¶

CREATE NOTIFICATION INTEGRATION コマンドを使用して通知統合を作成します。

CREATE NOTIFICATION INTEGRATION <integration_name>
  ENABLED = true
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AZURE_STORAGE_QUEUE
  AZURE_STORAGE_QUEUE_PRIMARY_URI = '<queue_URL>'
  AZURE_TENANT_ID = '<directory_ID>';

条件:

• integration_name は、新しい統合の名前です。

• queue_URL および directory_ID は、 ストレージキュー URL およびテナント ID の取得 で記録したキュー URL およびテナント ID です。

例:

CREATE NOTIFICATION INTEGRATION my_notification_int
  ENABLED = true
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AZURE_STORAGE_QUEUE
  AZURE_STORAGE_QUEUE_PRIMARY_URI = 'https://myqueue.queue.core.windows.net/mystoragequeue'
  AZURE_TENANT_ID = 'a123bcde-1234-5678-abc1-9abc12345678';

ストレージキューへのSnowflakeアクセスの許可¶

このセクションの特定のステップでは、Azure CLI をローカルにインストールする必要があることに注意してください。

1. DESCRIBE INTEGRATION コマンドを実行して、同意 URL を取得します。

   DESC NOTIFICATION INTEGRATION <integration_name>;
   

   Copy

   条件:

   • integration_name は、 通知統合を作成する で作成した統合の名前です。

   次の列の値に注意します。

   AZURE_CONSENT_URL:

   Microsoftのアクセス許可リクエストページへの URL。

   AZURE_MULTI_TENANT_APP_NAME:

   アカウント用に作成されたSnowflakeクライアントアプリケーションの名前。このセクションの後半のステップでは、このアプリケーションに、許可されたトピックでアクセストークンを取得するために必要な権限を付与する必要があります。

2. ウェブブラウザーで AZURE_CONSENT_URL 列にある URL に移動します。このページには、Microsoft許可リクエストページが表示されます。

3. Accept ボタンをクリックします。このアクションにより、Snowflakeアカウント用に作成されたAzureサービスプリンシパルは、テナント内のリソースでアクセストークンを取得できます。アクセストークンの取得は、コンテナーに対する適切なアクセス許可をサービスプリンシパルに付与した場合にのみ成功します（次のステップを参照）。

   Microsoftの権限リクエストページは、Snowflakeの企業サイト（snowflake.com）にリダイレクトされます。

4. Microsoft Azureポータルにログインします。

5. Azure Active Directory » Enterprise applications に移動します。このセクションのステップ2で記録した、Snowflakeアプリケーション識別子がリストされていることを確認します。

   重要

   Azure Active DirectoryでSnowflakeアプリケーションを後で削除すると、通知統合が機能しなくなります。

6. Queues » storage_queue_name に移動します。 storage_queue_name は、 ストレージキューの作成 で作成したストレージキューの名前です。

7. Access Control (IAM) » Add role assignment をクリックします。

8. Snowflakeサービスプリンシパルを検索します。これは DESC NOTIFICATION INTEGRATION 出力（ステップ1）の AZURE_MULTI_TENANT_APP_NAME プロパティにあるIDです。AZURE_MULTI_TENANT_APP_NAME プロパティで、アンダースコアの 前にある 文字列を検索します。

   重要

   • このセクションのMicrosoftリクエストページでリクエストされたSnowflakeサービスプリンシパルをAzureが作成するのに、1時間以上かかる場合があります。サービスプリンシパルがすぐに利用できない場合は、1～2時間待ってから、もう一度検索することをお勧めします。

   • サービスプリンシパルを削除すると、通知統合が機能しなくなります。

9. Snowflakeアプリに次の権限を付与します。

   • Role: ストレージキューデータコントリビューター

   • Assign access to: Azure AD のユーザー、グループ、またはサービスプリンシパル

   • Select: appDisplayName 値。

   Snowflakeアプリケーション識別子が Storage Queue Data Contributor の下にリストされるようになります（同じダイアログ上）。

ディレクトリテーブルパラメーター（directoryTable）¶

ENABLE = TRUE | FALSE

ディレクトリテーブルをステージに追加するかどうかを指定します。値が TRUE の場合は、ステージとともにディレクトリテーブルが作成されます。

デフォルト: FALSE

AUTO_REFRESH = TRUE | FALSE

[ WITH ] LOCATION = 設定で指定された名前付き外部ステージで 新しいまたは更新された データファイルが使用可能な場合に、Snowflakeがディレクトリテーブルのメタデータの自動更新トリガーを有効にするかどうかを指定します。

TRUE

Snowflakeを使用すると、ディレクトリテーブルのメタデータの自動更新をトリガーできます。

FALSE

Snowflakeは、ディレクトリテーブルのメタデータの自動更新トリガーを有効にしません。 ALTER STAGE ... REFRESH を使用して、ディレクトリテーブルのメタデータを手動で定期的に更新し、メタデータをステージパスにあるファイルの現在のリストと同期する必要があります。

デフォルト: FALSE

Microsoft Azure

NOTIFICATION_INTEGRATION = '<通知統合名>'

Azure Event Grid通知を使用して、ディレクトリテーブルのメタデータを自動的に更新するために使用される通知統合の名前を指定します。通知統合は、Snowflakeとサードパーティのクラウドメッセージキューサービス間のインターフェイスを提供するSnowflakeオブジェクトです。

次の例では、ユーザーセッションのアクティブスキーマに mystage という名前のステージを作成します。クラウドストレージ URL にはパス files が含まれています。ステージは my_storage_int という名前のストレージ統合を参照します。

USE SCHEMA mydb.public;

Copy

CREATE STAGE mystage
  URL='azure://myaccount.blob.core.windows.net/load/files/'
  STORAGE_INTEGRATION = my_storage_int
  DIRECTORY = (
    ENABLE = true
    AUTO_REFRESH = true
    NOTIFICATION_INTEGRATION = 'MY_NOTIFICATION_INT'
  );

NOTIFICATION_INTEGRATION パラメーターは、 ステップ2: 通知統合を作成する で作成した my_notification_int 統合を参照します。統合名はすべて大文字で提供する必要があります。

新規または更新されたデータファイルがクラウドストレージの場所に追加されると、イベント通知はSnowflakeに通知して、それらをディレクトリテーブルのメタデータにスキャンします。

構文¶

ALTER STAGE [ IF EXISTS ] <name> REFRESH [ SUBPATH = '<relative-path>' ]

条件:

REFRESH

ディレクトリテーブル定義で参照されるステージングされたデータファイルにアクセスし、テーブルメタデータを更新します。

• パス内の新しいファイルがテーブルメタデータに追加されます。

• パス内のファイルへの変更は、テーブルメタデータで更新されます。

• パス内になくなったファイルは、テーブルのメタデータから削除されます。

現在、ファイルがステージに追加、更新、または削除されるたびに、このコマンドを実行する必要があります。このステップでは、ディレクトリテーブルのステージ定義にある関連ファイルの最新セットとメタデータが同期されます。

SUBPATH = '<relative-path>'

任意で、相対パスを指定して、データファイルの特定のサブセットに対するメタデータを更新します。

例¶

mystage という名前のステージで、ディレクトリテーブルのメタデータを手動で更新します。

ALTER STAGE mystage REFRESH;