Azure Blob Storageの外部テーブルを自動的に更新する¶

ステップ1:Snowflakeでクラウドストレージ統合を作成する¶

CREATE STORAGE INTEGRATION コマンドを使用してストレージ統合を作成します。ストレージ統合は、Azureクラウドストレージ用に生成されたサービスプリンシパルと、許可またはブロックされたストレージロケーション（つまりコンテナー）のオプションセットを格納するSnowflakeオブジェクトです。組織のクラウドプロバイダー管理者は、生成されたサービスプリンシパルにストレージの場所に対するアクセス許可を付与します。このオプションにより、ユーザーはステージの作成時またはデータのロード時に認証情報の提供を回避できます。

1つのストレージ統合で、複数の外部（つまりAzure）ステージをサポートできます。ステージ定義にある URL は、 STORAGE_ALLOWED_LOCATIONS パラメーターのために指定されたAzureコンテナー（およびオプションのパス）に合わせる必要があります。

CREATE STORAGE INTEGRATION <integration_name>
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'AZURE'
  ENABLED = TRUE
  AZURE_TENANT_ID = '<tenant_id>'
  STORAGE_ALLOWED_LOCATIONS = ('azure://<account>.blob.core.windows.net/<container>/<path>/', 'azure://<account>.blob.core.windows.net/<container>/<path>/')
  [ STORAGE_BLOCKED_LOCATIONS = ('azure://<account>.blob.core.windows.net/<container>/<path>/', 'azure://<account>.blob.core.windows.net/<container>/<path>/') ]

条件:

• integration_name は、新しい統合の名前です。

• tenant_id は、許可およびブロックされたストレージアカウントが属するOffice 365テナントの ID です。ストレージ統合は1つのテナントにしか認証コードできないため、許可およびブロックされたストレージロケーションは、すべてこのテナントに属するストレージアカウントを参照する必要があります。

  テナント ID を見つけるには、Azure ポータルにサインインし、 Azure Active Directory » Properties をクリックします。テナント ID が Tenant ID フィールドに表示されます。

• container は、データファイルを保存する Azure コンテナーの名前です (たとえば、 mycontainer)。STORAGE_ALLOWED_LOCATIONS および STORAGE_BLOCKED_LOCATIONS パラメーターは、この統合を参照するステージが作成または変更されるときに、それぞれこれらのコンテナーへのアクセスを許可またはブロックします。

• path は、コンテナー内の論理ディレクトリを細かく制御するために使用できるオプションのパスです。

次の例では、2つのコンテナーとパスのいずれかを参照するために統合を使用する外部ステージを明示的に制限する統合を作成します。後のステップで、これらのコンテナーとパスのいずれかを参照する外部ステージを作成します。この統合を使用する複数の外部ステージは、許可されたコンテナーとパスを参照できます。

CREATE STORAGE INTEGRATION azure_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'AZURE'
  ENABLED = TRUE
  AZURE_TENANT_ID = 'a123b4c5-1234-123a-a12b-1a23b45678c9'
  STORAGE_ALLOWED_LOCATIONS = ('azure://myaccount.blob.core.windows.net/mycontainer1/mypath1/', 'azure://myaccount.blob.core.windows.net/mycontainer2/mypath2/')
  STORAGE_BLOCKED_LOCATIONS = ('azure://myaccount.blob.core.windows.net/mycontainer1/mypath1/sensitivedata/', 'azure://myaccount.blob.core.windows.net/mycontainer2/mypath2/sensitivedata/');

Copy

ステップ2：ストレージの場所にSnowflakeアクセスを許可する¶

1. DESCRIBE INTEGRATION コマンドを実行して、同意 URL を取得します。

   DESC STORAGE INTEGRATION <integration_name>;
   

   Copy

   条件:

   • integration_name は、 ステップ1:Snowflakeでクラウドストレージ統合を作成する で作成した統合の名前です。

   次の列の値に注意します。

   AZURE_CONSENT_URL:

   Microsoftのアクセス許可リクエストページへの URL。

   AZURE_MULTI_TENANT_APP_NAME:

   アカウント用に作成されたSnowflakeクライアントアプリケーションの名前。このセクションの後半のステップでは、このアプリケーションに、許可されたストレージの場所でアクセストークンを取得するために必要な権限を付与する必要があります。

2. ウェブブラウザーで AZURE_CONSENT_URL 列にある URL に移動します。このページには、Microsoft許可リクエストページが表示されます。

3. Accept ボタンをクリックします。このアクションにより、Snowflakeアカウント用に作成されたAzureサービスプリンシパルは、テナント内の指定されたリソースでアクセストークンを取得できるようになります。アクセストークンの取得は、コンテナーに対する適切なアクセス許可をサービスプリンシパルに付与した場合にのみ成功します（次のステップを参照）。

   Microsoftの権限リクエストページは、Snowflakeの企業サイト（snowflake.com）にリダイレクトされます。

4. Microsoft Azureポータルにサインインします。

5. Azure Services » Storage Accounts に移動します。Snowflake サービスプリンシパルにアクセスを Grant するストレージアカウント名をクリックします。

6. Access Control (IAM) » Add role assignment をクリックします。

7. Snowflakeサービスプリンシパルに付与する目的のロールを選択します。

   • Storage Blob Data Reader 読み取りアクセスのみを許可します。これにより、ストレージアカウントにステージングされたファイルからデータをロードできます。

   • Storage Blob Data Contributor 読み取りおよび書き込みアクセスを許可します。これにより、ストレージアカウントでステージングされたファイルからのデータのロードまたはアンロードが可能になります。このロールでは、 REMOVE コマンドを実行して、ストレージアカウントにステージングされたファイルを削除することもできます。

8. Snowflakeサービスプリンシパルを検索します。これは DESC STORAGE INTEGRATION 出力（ステップ1）の AZURE_MULTI_TENANT_APP_NAME プロパティにあるIDです。AZURE_MULTI_TENANT_APP_NAME プロパティで、アンダースコアの 前にある 文字列を検索します。

   重要

   • このセクションのMicrosoftリクエストページでリクエストされたSnowflakeサービスプリンシパルをAzureが作成するのに、1時間以上かかる場合があります。サービスプリンシパルがすぐに利用できない場合は、1～2時間待ってから、もう一度検索することをお勧めします。

   • サービスプリンシパルを削除すると、ストレージ統合が機能しなくなります。

   

9. Review + assign ボタンをクリックします。

   注釈

   • Microsoft Azureのドキュメントによると、ロールの割り当てが反映されるまでに最大5分かかる場合があります。

   • Snowflakeは、一時的な認証情報を一定期間キャッシュしますが、60分の有効期限を越えることができません。Snowflakeからのアクセスを取り消すと、ユーザーはキャッシュの有効期限が切れるまでファイルを一覧表示し、クラウドストレージの場所からデータを読み込むことができる場合があります。

ステップ1:Event Gridサブスクリプションを構成する¶

このセクションでは、Azure CLI を使用してAzure StorageイベントのEvent Gridサブスクリプションを設定する方法について説明します。このセクションで説明されている手順の詳細については、Azureドキュメントの次の記事をご参照ください：

• https://docs.microsoft.com/en-us/azure/event-grid/custom-event-to-queue-storage

• https://docs.microsoft.com/en-us/azure/storage/blobs/storage-blob-event-quickstart

az group create --name <resource_group_name> --location <location>

az provider register --namespace Microsoft.EventGrid
az provider show --namespace Microsoft.EventGrid --query "registrationState"

az storage account create --resource-group <resource_group_name> --name <storage_account_name> --sku Standard_LRS --location <location> --kind BlobStorage --access-tier Hot

az storage account create --resource-group <resource_group_name> --name <storage_account_name> --sku Standard_LRS --location <location> --kind StorageV2

az storage queue create --name <storage_queue_name> --account-name <storage_account_name>

az extension add --name eventgrid

ステップ2: 通知統合を作成する¶

A 通知統合 は、Snowflakeと、Azure Event Gridといった、サードパーティのクラウド メッセージ キューサービス間のインターフェイスを提供するSnowflakeオブジェクトです。

CREATE NOTIFICATION INTEGRATION <integration_name>
  ENABLED = true
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AZURE_STORAGE_QUEUE
  AZURE_STORAGE_QUEUE_PRIMARY_URI = '<queue_URL>'
  AZURE_TENANT_ID = '<directory_ID>';

CREATE NOTIFICATION INTEGRATION my_notification_int
  ENABLED = true
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AZURE_STORAGE_QUEUE
  AZURE_STORAGE_QUEUE_PRIMARY_URI = 'https://myqueue.queue.core.windows.net/mystoragequeue'
  AZURE_TENANT_ID = 'a123bcde-1234-5678-abc1-9abc12345678';

（オプション）ステップ3: ステージを作成する¶

CREATE STAGE コマンドを使用して、Azureコンテナを参照する外部ステージを作成します。Snowflakeは、ステージングされたデータファイルを外部テーブルメタデータに読み取ります。または、既存の外部ステージを使用できます。

次の例では、ユーザーセッションのアクティブスキーマに mystage という名前のステージを作成します。クラウドストレージ URL にはパス files が含まれています。ステージは my_storage_int という名前のストレージ統合を参照します。

USE SCHEMA mydb.public;

CREATE STAGE mystage
  URL='azure://myaccount.blob.core.windows.net/mycontainer/files/'
  STORAGE_INTEGRATION = my_storage_int;

Copy

ステップ4: 外部テーブルを作成する¶

CREATE EXTERNAL TABLE コマンドを使用して外部テーブルを作成します。

たとえば、 mydb.public パスで、 JSON ステージにステージングされたファイルから mystage データを読み取る path1/ スキーマに、外部テーブルを作成するとします。

CREATE OR REPLACE EXTERNAL TABLE ext_table
 INTEGRATION = 'MY_NOTIFICATION_INT'
 WITH LOCATION = @mystage/path1/
 FILE_FORMAT = (TYPE = JSON);

INTEGRATION パラメーターは、` ステップ2で作成した my_notification_int 通知統合を参照します。通知統合`_を作成します。統合名はすべて大文字で入力する必要があります。

通知統合が指定されている場合、AUTO_REFRESH`パラメーターはデフォルトで:samp:`TRUE`になります。通知の統合がない場合、AUTO_REFRESH は常に :samp:`FALSE です。

このステップを完了すると、自動更新のある外部ステージが構成されます。

新規または更新されたデータファイルがAzureコンテナに追加されると、イベント通知はSnowflakeに通知して、それらを外部テーブルメタデータにスキャンします。

ステップ5: 外部テーブルのメタデータを手動で更新する¶

ALTER EXTERNAL TABLE を REFRESH パラメーターとともに使用して、外部テーブルのメタデータを手動で1回更新します。例:

ALTER EXTERNAL TABLE ext_table REFRESH;

+---------------------------------------------+----------------+-------------------------------+
| file                                        | status         | description                   |
|---------------------------------------------+----------------+-------------------------------|
| files/path1/file1.json                      | REGISTERED_NEW | File registered successfully. |
| files/path1/file2.json                      | REGISTERED_NEW | File registered successfully. |
| files/path1/file3.json                      | REGISTERED_NEW | File registered successfully. |
+---------------------------------------------+----------------+-------------------------------+

Copy

このステップは、外部テーブル定義のステージおよびパス内のファイルのリストとメタデータを同期します。また、このステップにより、外部テーブルが指定されたステージとパスのデータファイルを読み取ることができ、外部テーブル定義に欠落しているファイルがないことを確認します。

file 列のファイルのリストが期待と一致しない場合、外部テーブル定義と外部ステージ定義のパスを確認します。外部テーブル定義のパスは、ステージ定義で指定されたパスに追加されます。詳細については、 CREATE EXTERNAL TABLE をご参照ください。

これにより、ステップ4以降に発生したファイルリストへの変更とメタデータが同期されます。その後、Event Grid通知はメタデータの更新を自動的にトリガーします。

ステップ6: セキュリティを構成する¶

外部テーブルへのクエリに使用する追加のロールごとに、GRANT <権限> ... TO ROLE を使用して、さまざまなオブジェクト（データベース、スキーマ、ステージ、テーブル）に十分なアクセス制御権限を付与します。