データをロードするためのAzureコンテナーの構成¶

ステップ1:Snowflakeでクラウドストレージ統合を作成する¶

CREATE STORAGE INTEGRATION コマンドを使用してストレージ統合を作成します。ストレージ統合は、Azureクラウドストレージ用に生成されたサービスプリンシパルと、許可またはブロックされたストレージロケーション（つまりコンテナー）のオプションセットを格納するSnowflakeオブジェクトです。組織のクラウドプロバイダー管理者は、生成されたサービスプリンシパルにストレージの場所に対するアクセス許可を付与します。このオプションにより、ユーザーはステージの作成時またはデータのロード時に認証情報の提供を回避できます。

1つのストレージ統合で、複数の外部（つまりAzure）ステージをサポートできます。ステージ定義にある URL は、 STORAGE_ALLOWED_LOCATIONS パラメーターのために指定されたAzureコンテナー（およびオプションのパス）に合わせる必要があります。

CREATE STORAGE INTEGRATION <integration_name>
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'AZURE'
  ENABLED = TRUE
  AZURE_TENANT_ID = '<tenant_id>'
  STORAGE_ALLOWED_LOCATIONS = ('azure://<account>.blob.core.windows.net/<container>/<path>/', 'azure://<account>.blob.core.windows.net/<container>/<path>/')
  [ STORAGE_BLOCKED_LOCATIONS = ('azure://<account>.blob.core.windows.net/<container>/<path>/', 'azure://<account>.blob.core.windows.net/<container>/<path>/') ]

条件:

• integration_name は、新しい統合の名前です。

• tenant_id は、許可およびブロックされたストレージアカウントが属するOffice 365テナントの ID です。ストレージ統合は1つのテナントにしか認証コードできないため、許可およびブロックされたストレージロケーションは、すべてこのテナントに属するストレージアカウントを参照する必要があります。

  テナント ID を見つけるには、Azureポータルにサインインして Azure Active Directory » Properties をクリックします。テナント ID が Tenant ID フィールドに表示されます。

• container は、データファイルを保存する Azure コンテナーの名前です (たとえば、 mycontainer)。STORAGE_ALLOWED_LOCATIONS および STORAGE_BLOCKED_LOCATIONS パラメーターは、この統合を参照するステージが作成または変更されるときに、それぞれこれらのコンテナーへのアクセスを許可またはブロックします。

• path は、コンテナー内の論理ディレクトリを細かく制御するために使用できるオプションのパスです。

次の例では、2つのコンテナーとパスのいずれかを参照するために統合を使用する外部ステージを明示的に制限する統合を作成します。後のステップで、これらのコンテナーとパスのいずれかを参照する外部ステージを作成します。この統合を使用する複数の外部ステージは、許可されたコンテナーとパスを参照できます。

CREATE STORAGE INTEGRATION azure_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'AZURE'
  ENABLED = TRUE
  AZURE_TENANT_ID = 'a123b4c5-1234-123a-a12b-1a23b45678c9'
  STORAGE_ALLOWED_LOCATIONS = ('azure://myaccount.blob.core.windows.net/mycontainer1/mypath1/', 'azure://myaccount.blob.core.windows.net/mycontainer2/mypath2/')
  STORAGE_BLOCKED_LOCATIONS = ('azure://myaccount.blob.core.windows.net/mycontainer1/mypath1/sensitivedata/', 'azure://myaccount.blob.core.windows.net/mycontainer2/mypath2/sensitivedata/');

Copy

ステップ2：ストレージの場所にSnowflakeアクセスを許可する¶

1. DESCRIBE INTEGRATION コマンドを実行して、同意 URL を取得します。

   DESC STORAGE INTEGRATION <integration_name>;
   

   Copy

   条件:

   • integration_name は、 ステップ1:Snowflakeでクラウドストレージ統合を作成する で作成した統合の名前です。

   次の列の値に注意します。

   AZURE_CONSENT_URL:

   Microsoftのアクセス許可リクエストページへの URL。

   AZURE_MULTI_TENANT_APP_NAME:

   アカウント用に作成されたSnowflakeクライアントアプリケーションの名前。このセクションの後半のステップでは、このアプリケーションに、許可されたストレージの場所でアクセストークンを取得するために必要な権限を付与する必要があります。

2. ウェブブラウザーで AZURE_CONSENT_URL 列にある URL に移動します。このページには、Microsoft許可リクエストページが表示されます。

3. Accept ボタンをクリックします。このアクションにより、Snowflakeアカウント用に作成されたAzureサービスプリンシパルは、テナント内の指定されたリソースでアクセストークンを取得できるようになります。アクセストークンの取得は、コンテナーに対する適切なアクセス許可をサービスプリンシパルに付与した場合にのみ成功します（次のステップを参照）。

   Microsoftの権限リクエストページは、Snowflakeの企業サイト（snowflake.com）にリダイレクトされます。

4. Microsoft Azureポータルにサインインします。

5. Azure Services » Storage Accounts に移動します。Snowflakeサービスプリンシパルアクセスを許可するストレージアカウントの名前をクリックします。

6. Access Control (IAM) » Add role assignment をクリックします。

7. Snowflakeサービスプリンシパルに付与する目的のロールを選択します。

   • Storage Blob Data Reader 読み取りアクセスのみを許可します。これにより、ストレージアカウントにステージングされたファイルからデータをロードできます。

   • Storage Blob Data Contributor 読み取りおよび書き込みアクセスを許可します。これにより、ストレージアカウントでステージングされたファイルからのデータのロードまたはアンロードが可能になります。このロールでは、 REMOVE コマンドを実行して、ストレージアカウントにステージングされたファイルを削除することもできます。

8. Snowflakeサービスプリンシパルを検索します。これは DESC STORAGE INTEGRATION 出力（ステップ1）の AZURE_MULTI_TENANT_APP_NAME プロパティにあるIDです。AZURE_MULTI_TENANT_APP_NAME プロパティで、アンダースコアの 前にある 文字列を検索します。

   重要

   • このセクションのMicrosoftリクエストページでリクエストされたSnowflakeサービスプリンシパルをAzureが作成するのに、1時間以上かかる場合があります。サービスプリンシパルがすぐに利用できない場合は、1～2時間待ってから、もう一度検索することをお勧めします。

   • サービスプリンシパルを削除すると、ストレージ統合が機能しなくなります。

   

9. Review + assign ボタンをクリックします。

   注釈

   • Microsoft Azureのドキュメントによると、ロールの割り当てが反映されるまでに最大5分かかる場合があります。

   • Snowflakeは、一時的な認証情報を一定期間キャッシュしますが、60分の有効期限を越えることができません。Snowflakeからのアクセスを取り消すと、ユーザーはキャッシュの有効期限が切れるまでファイルを一覧表示し、クラウドストレージの場所からデータを読み込むことができる場合があります。

ステップ3: 外部ステージを作成する¶

ステップ1：Snowflakeでクラウドストレージ統合を作成する （このトピック内）で作成したストレージ統合を参照する、外部（Azure）ステージを作成します。

CREATE STAGE コマンドを使用してステージを作成します。

例えば、 mydb.public をユーザーセッションの現在のデータベースおよびスキーマとして設定し、 my_azure_stage という名前のステージを作成します。この例では、ステージは、統合でサポートされているAzureコンテナーとパス mycontainer1/path1 を参照します。ステージは、 my_csv_format という名前のファイル形式オブジェクトも参照します。

USE SCHEMA mydb.public;

CREATE STAGE my_azure_stage
  STORAGE_INTEGRATION = azure_int
  URL = 'azure://myaccount.blob.core.windows.net/container1/path1'
  FILE_FORMAT = my_csv_format;

Copy

ステップ1: SAS トークンを生成する¶

次の詳細な手順では、ストレージアカウントのオブジェクトに対するSnowflakeの制限付きアクセスを許可する SAS トークンを生成する方法について説明します。

1. Azureポータルにログインします。

2. ホームダッシュボードから、 Storage Accounts » <ストレージアカウント> を選択します。Security + networking の下で、 Shared access signature を選択します。

   

3. 次の 許可されるサービス を選択します。

   • Blob

4. 次の 許可されたリソースタイプ を選択します。

   • Container （ストレージアカウントのオブジェクトを一覧表示するために必要）

   • Object （ストレージアカウントとの間でオブジェクトを読み書きするために必要）

5. 次の許可された権限を選択して、Azureリソースからデータファイルをロードします。

   • 読む

   • リスト

   ファイルをコンテナにアンロードする場合は、 Write、 Add、および Create 権限も必要です。さらに、 PURGE = TRUE オプションを使用するには、 Permanent Delete 権限が必要です。

6. SAS トークンの開始日と有効期限を指定します。一般的なセキュリティ計画の一環として、異なる SAS トークンを定期的に生成できます。

7. 許可された IP アドレス フィールドを空白のままにして、 HTTPS only または HTTPS and HTTP （Allowed protocols 下）を指定します。

   

8. Generate SAS and connection string ボタンをクリックします。SAS token フィールドに ? 含んで始まる、完全な値を記録します。これは SAS トークンです。外部ステージを作成するときに、このトークンを指定します。

ステップ2: 外部ステージを作成する¶

ステップ1： SAS トークンを生成する （このトピック内）で生成した SAS トークンを参照する、外部（Azure）ステージを作成します。

次の例では、 SQL を使用して、Azureの認証情報と マスター暗号化キー を含む my_azure_stage という名前の外部ステージを作成します。ステージ URL はAzure myaccount アカウントを参照します。データファイルは mycontainer コンテナーと /load/files パスに保存されます。ステージは my_csv_format という名前のファイル形式オブジェクトを参照します。この例では MASTER_KEY 値が切り捨てられていることに注意してください。

CREATE OR REPLACE STAGE my_azure_stage
  URL='azure://myaccount.blob.core.windows.net/mycontainer/load/files'
  CREDENTIALS=(AZURE_SAS_TOKEN='?sv=2016-05-31&ss=b&srt=sco&sp=rwdl&se=2018-06-27T10:05:50Z&st=2017-06-27T02:05:50Z&spr=https,http&sig=bgqQwoXwxzuD2GJfagRg7VOS8hzNr3QLT7rhS8OFRLQ%3D')
  ENCRYPTION=(TYPE='AZURE_CSE' MASTER_KEY = 'kPx...')
  FILE_FORMAT = my_csv_format;

Copy

この例で使用されている AZURE_SAS_TOKEN と MASTER_KEY の値は、説明のみを目的としています。