Amazon S3に対する外部テーブルの自動更新¶

ステップ1: S3バケットのアクセス許可を構成する¶

ステップ2： IAM AWS ロールを作成する¶

AWS 管理コンソールでSnowflakeのアクセス許可を設定するには、次の手順を実行します。

1. AWS 管理コンソールにログインします。

2. ホームダッシュボードから、 Identity & Access Management （IAM）を選択します。

   

3. 左側のナビゲーションペインから Roles を選択します。

4. Create role を選択します。

   

5. 信頼できるエンティティタイプとして Another AWS account を選択します。

6. Account ID フィールドに、自分の AWS アカウント ID を一時的に入力します。後で、信頼関係を変更し、Snowflakeへのアクセスを許可します。

7. Require external ID オプションを選択します。外部 ID は、Snowflakeなどのサードパーティに AWS リソース（S3バケットなど）へのアクセスを許可するために使用されます。

   0000 などのプレースホルダー ID を入力します。後のステップで、 IAM ロールの信頼関係を変更し、ストレージ統合の外部 ID を指定します。

8. Next を選択します。

9. ステップ1: S3バケットのアクセス許可を構成する （このトピック内）で作成したポリシーを選択します。

10. Next を選択します。

    

11. ロールの名前と説明を入力し、 Create role を選択します。

    これで、バケットの IAM ポリシー、および IAM ロールを作成し、ロールにポリシーを添付しました。

12. ロールの概要ページにある Role ARN 値を見つけて記録します。次のステップでは、このロールを参照するSnowflake統合を作成します。

    

ステップ3：Snowflakeでクラウドストレージ統合を作成する¶

CREATE STORAGE INTEGRATION コマンドを使用してストレージ統合を作成します。ストレージ統合は、S3クラウドストレージ用に生成されたIDおよびアクセス管理（IAM）ユーザーと、許可またはブロックされたストレージロケーション（バケットなど）のオプションセットを保存するSnowflakeオブジェクトです。組織のクラウドプロバイダー管理者は、生成されたユーザーにストレージの場所に対するアクセス許可を付与します。このオプションにより、ユーザーはステージの作成時またはデータのロード時に、認証情報の提供を回避できます。

単一のストレージ統合で複数の外部（つまり、S3）ステージをサポートできます。ステージ定義にある URL は、 STORAGE_ALLOWED_LOCATIONS パラメーターのために指定されたS3バケット（およびオプションのパス）に合わせる必要があります。

CREATE STORAGE INTEGRATION <integration_name>
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = '<iam_role>'
  STORAGE_ALLOWED_LOCATIONS = ('s3://<bucket>/<path>/', 's3://<bucket>/<path>/')
  [ STORAGE_BLOCKED_LOCATIONS = ('s3://<bucket>/<path>/', 's3://<bucket>/<path>/') ]

条件:

• integration_name は、新しい統合の名前です。

• iam_role は、 ステップ2: AWS で IAM ロールを作成する （このトピック内）で作成したロールのAmazonリソースネーム（ARN）です。

• bucket は、データファイルを保存するS3バケットの名前です（例: mybucket）。必須の STORAGE_ALLOWED_LOCATIONS パラメーターおよびオプションの STORAGE_BLOCKED_LOCATIONS パラメーターは、この統合を参照するステージが作成または変更されたときに、それぞれこれらのバケットへのアクセスを制限またはブロックします。

• path は、バケット内のオブジェクトを細かく制御するために使用できるオプションのパスです。

次の例では、アカウント内のすべてのバケットへのアクセスを許可し、定義された sensitivedata フォルダーへのアクセスをブロックする統合を作成します。

この統合も使用する追加の外部ステージは、許可されたバケットとパスを参照できます。

CREATE STORAGE INTEGRATION s3_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::001234567890:role/myrole'
  STORAGE_ALLOWED_LOCATIONS = ('*')
  STORAGE_BLOCKED_LOCATIONS = ('s3://mybucket1/mypath1/sensitivedata/', 's3://mybucket2/mypath2/sensitivedata/');

Copy

ステップ4：Snowflakeアカウントの AWS IAM ユーザーを取得する¶

1. Snowflakeアカウント用に自動的に作成された IAM ユーザーの ARN を取得するには、 DESCRIBE INTEGRATION を使用します。

   DESC INTEGRATION <integration_name>;
   

   Copy

   条件:

   • integration_name は、 ステップ3: Snowflakeでクラウドストレージ統合を作成する （このトピック内）で作成した統合の名前です。

   例:

   DESC INTEGRATION s3_int;
   
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------+
   | property                  | property_type | property_value                                                                 | property_default |
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------|
   | ENABLED                   | Boolean       | true                                                                           | false            |
   | STORAGE_ALLOWED_LOCATIONS | List          | s3://mybucket1/mypath1/,s3://mybucket2/mypath2/                                | []               |
   | STORAGE_BLOCKED_LOCATIONS | List          | s3://mybucket1/mypath1/sensitivedata/,s3://mybucket2/mypath2/sensitivedata/    | []               |
   | STORAGE_AWS_IAM_USER_ARN  | String        | arn:aws:iam::123456789001:user/abc1-b-self1234                                 |                  |
   | STORAGE_AWS_ROLE_ARN      | String        | arn:aws:iam::001234567890:role/myrole                                          |                  |
   | STORAGE_AWS_EXTERNAL_ID   | String        | MYACCOUNT_SFCRole=2_a123456/s0aBCDEfGHIJklmNoPq=                               |                  |
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------+
   

   Copy

2. 次のプロパティの値を記録します。

   プロパティ	説明
   STORAGE_AWS_IAM_USER_ARN	Snowflakeアカウント用に作成された AWS IAM ユーザー。例えば、 arn:aws:iam::123456789001:user/abc1-b-self1234。Snowflakeは、Snowflakeアカウント全体用に単一の IAM ユーザーをプロビジョニングします。アカウント内のすべてのS3ストレージ統合では、その IAM ユーザーが使用されます。
   STORAGE_AWS_EXTERNAL_ID	Snowflakeが AWS との信頼関係を確立するために使用する外部 ID。ストレージ統合の作成時に外部 ID （STORAGE_AWS_EXTERNAL_ID）を指定しなかった場合、Snowflakeは ID を生成して使用します。

   これらの値は次のセクションで提供します。

ステップ5：バケットオブジェクトにアクセスするために IAM ユーザー権限を付与する¶

次の手順では、S3バケットを使用してデータをロードおよびアンロードできるように、 AWS 管理コンソールでSnowflakeの IAM アクセス許可を構成する方法を説明します。

1. AWS 管理コンソールにログインします。

2. Identity & Access Management （IAM）を選択します。

   

3. 左側のナビゲーションペインから Roles を選択します。

4. ステップ2: IAM AWS ロールを作成する （このトピック内）で作成したロールを選択します。

5. Trust relationships タブを選択します。

6. Edit trust relationship を選択します。

7. ステップ4：Snowflakeアカウントの AWS IAM ユーザーを取得する （このトピック内）で記録した DESC STORAGE INTEGRATION 出力値でポリシードキュメントを変更します。

   IAM ロールのポリシードキュメント

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "",
         "Effect": "Allow",
         "Principal": {
           "AWS": "<snowflake_user_arn>"
         },
         "Action": "sts:AssumeRole",
         "Condition": {
           "StringEquals": {
             "sts:ExternalId": "<snowflake_external_id>"
           }
         }
       }
     ]
   }
   

   Copy

   条件:

   • snowflake_user_arn は、記録した STORAGE_AWS_IAM_USER_ARN 値です。

   • snowflake_external_id は、記録した STORAGE_AWS_EXTERNAL_ID 値です。

     この例では、 snowflake_external_id の値は MYACCOUNT_SFCRole=2_a123456/s0aBCDEfGHIJklmNoPq= です。

     注釈

     セキュリティ上の理由から、外部 ID を指定せずに新しいストレージ統合を作成した場合（または CREATE OR REPLACE STORAGE INTEGRATION 構文を使用して既存のストレージ統合を再作成した場合）、新しい統合には 異なる 外部 ID が含まれるため、信頼ポリシーを更新しない限り信頼関係を解決できません。

8. Update Trust Policy ボタンを選択します。変更が保存されます。

ステップ1: ステージを作成する（必要な場合）¶

CREATE STAGE コマンドを使用して、S3バケットを参照する外部ステージを作成します。Snowflakeは、ステージングされたデータファイルを外部テーブルメタデータに読み取ります。または、既存の外部ステージを使用できます。

次の例では、ユーザーセッションのアクティブスキーマに mystage という名前のステージを作成します。クラウドストレージ URL にはパス files が含まれています。ステージは my_storage_int という名前のストレージ統合を参照します。

USE SCHEMA mydb.public;

CREATE STAGE mystage
  URL = 's3://mybucket/files'
  STORAGE_INTEGRATION = my_storage_int;

Copy

ステップ2: 外部テーブルを作成する¶

CREATE EXTERNAL TABLE コマンドを使用して外部テーブルを作成します。例えば、ステージングされたファイルから JSON データを読み取る mydb.public スキーマに外部テーブルを作成します。

ステージ参照には、 path1 という名前のフォルダーパスが含まれています。外部テーブルはステージ定義にこのパスを追加します。つまり、外部テーブルは @mystage/files/path1 のデータファイルを参照します。

AUTO_REFRESH パラメーターはデフォルトで TRUE であることに注意してください。

CREATE OR REPLACE EXTERNAL TABLE ext_table
 WITH LOCATION = @mystage/path1/
 FILE_FORMAT = (TYPE = JSON);

Copy

ステップ3: イベント通知を構成する¶

S3バケットのイベント通知を設定して、外部テーブルメタデータを読み込むための新しいデータまたは更新されたデータが利用可能になったときにSnowflakeに通知します。自動更新機能は、S3からSnowflakeにイベント通知を配信するために SQS キューに依存しています。

使いやすくするために、これらの SQS キューはSnowflakeによって作成および管理されます。 SHOW EXTERNAL TABLES コマンド出力には、 SQS キューのAmazonリソースネーム（ARN）が表示されます。

1. SHOW EXTERNAL TABLES コマンドを実行します：

   SHOW EXTERNAL TABLES;
   

   Copy

   notification_channel 列の外部テーブルの SQS キューの ARN に注意してください。 ARN を便利な場所にコピーします。

   注釈

   AWS ガイドラインに従って、SnowflakeはS3バケットごとに1つ以下の SQS キューを指定します。この SQS キューは、同じ AWS アカウントの複数のバケットで共有できます。 SQS キューは、同じS3バケットからデータファイルを読み取るすべての外部テーブルの通知を調整します。新しいデータファイルまたは変更されたデータファイルがバケットにアップロードされると、ステージディレクトリパスと一致するすべての外部テーブル定義がファイルの詳細をメタデータに読み込みます。

2. AWS 管理コンソールにログインします。

3. Amazon S3ドキュメント に記載されている手順を使用して、S3バケットのイベント通知を構成します。次のようにフィールドに入力します。

   • Name ：イベント通知の名前（例： Auto-ingest Snowflake）。

   • Events ： ObjectCreate (All) および ObjectRemoved オプションを選択します。

   • Send to ：ドロップダウンリストから SQS Queue を選択します。

   • SQS ：ドロップダウンリストから Add SQS queue ARN を選択します。

   • SQS queue ARN ： SHOW EXTERNAL TABLES 出力から SQS キュー名を貼り付けます。

これで、自動更新のある外部ステージが構成されました。

新規または更新されたデータファイルがS3バケットに追加されると、イベント通知はSnowflakeに通知して、それらを外部テーブルメタデータにスキャンします。

ステップ4: 外部テーブルのメタデータを手動で更新する¶

REFRESH パラメーターを指定した ALTER EXTERNAL TABLE を使用して、外部テーブルのメタデータを1回手動で更新します。例：

ALTER EXTERNAL TABLE ext_table REFRESH;

Copy

これにより、ステップ2以降に発生したファイルリストへの変更とメタデータが同期されます。その後、S3イベント通知はメタデータの更新を自動的にトリガーします。

ステップ5: セキュリティを構成する¶

外部テーブルのクエリに使用される追加のロールごとに、 GRANT <権限> を使用してさまざまなオブジェクト（つまり、データベース、スキーマ、ステージ、およびテーブル）に十分なアクセス制御権限を付与します。

前提条件：Amazon SNS トピックとサブスクリプションを作成する¶

1. AWS アカウントで SNS トピックを作成して、S3バケットのSnowflakeステージロケーションのすべてのメッセージを処理します。

2. S3イベント通知（例：他の SQS キューまたは AWS Lambdaワークロード）のターゲットの宛先をこのトピックにサブスクライブします。SNS バケットのイベント通知をトピックのすべてのサブスクライバーにパブリッシュします。

手順については、 SNS ドキュメント をご参照ください。

ステップ1：Snowflake SQS キューを SNS トピックに登録する¶

1. AWS 管理コンソールにログインします。

2. ホームダッシュボードから、 Simple Notification Service （SNS）を選択します。

3. 左側のナビゲーションペインから Topics を選択します。

4. S3バケットのトピックを見つけます。トピック ARN に注意します。

5. Snowflakeクライアントを使用して、 SNS トピック ARNで SYSTEM$GET_AWS_SNS_IAM_POLICY システム関数をクエリします。

   select system$get_aws_sns_iam_policy('<sns_topic_arn>');
   

   Copy

   この関数は、 SNS トピックをサブスクライブするSnowflake SQS キュー許可を付与する IAM ポリシーを返します。

   例:

   select system$get_aws_sns_iam_policy('arn:aws:sns:us-west-2:001234567890:s3_mybucket');
   
   +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   | SYSTEM$GET_AWS_SNS_IAM_POLICY('ARN:AWS:SNS:US-WEST-2:001234567890:S3_MYBUCKET')                                                                                                                                                                   |
   +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   | {"Version":"2012-10-17","Statement":[{"Sid":"1","Effect":"Allow","Principal":{"AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234"},"Action":["sns:Subscribe"],"Resource":["arn:aws:sns:us-west-2:001234567890:s3_mybucket"]}]}                 |
   +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   

   Copy

6. AWS 管理コンソールに戻ります。左側のナビゲーションペインから Topics を選択します。

7. S3バケットのトピックを選択し、 Edit ボタンをクリックします。 Edit ページが開きます。

8. Access policy - Optional をクリックして、ページのこの領域を展開します。

9. SYSTEM$GET_AWS_SNS_IAM_POLICY 関数の結果から追加された IAM ポリシーを JSON ドキュメントにマージします。

   例:

   元の IAM ポリシー（略称）：

   {
     "Version":"2008-10-17",
     "Id":"__default_policy_ID",
     "Statement":[
        {
           "Sid":"__default_statement_ID",
           "Effect":"Allow",
           "Principal":{
              "AWS":"*"
           }
           ..
        }
      ]
    }
   

   Copy

   統合された IAM ポリシー：

   {
     "Version":"2008-10-17",
     "Id":"__default_policy_ID",
     "Statement":[
        {
           "Sid":"__default_statement_ID",
           "Effect":"Allow",
           "Principal":{
              "AWS":"*"
           }
           ..
        },
        {
           "Sid":"1",
           "Effect":"Allow",
           "Principal":{
             "AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234"
            },
            "Action":[
              "sns:Subscribe"
            ],
            "Resource":[
              "arn:aws:sns:us-west-2:001234567890:s3_mybucket"
            ]
        }
      ]
    }
   

   Copy

10. 追加のポリシー許可を追加して、S3がバケットのイベント通知を SNS トピックに公開できるようにします。

    例（これらの手順全体で使用される SNS トピック ARN およびS3バケットを使用）:

    {
        "Sid":"s3-event-notifier",
        "Effect":"Allow",
        "Principal":{
           "Service":"s3.amazonaws.com"
        },
        "Action":"SNS:Publish",
        "Resource":"arn:aws:sns:us-west-2:001234567890:s3_mybucket",
        "Condition":{
           "ArnLike":{
              "aws:SourceArn":"arn:aws:s3:*:*:s3_mybucket"
           }
        }
     }
    

    Copy

    統合された IAM ポリシー：

    {
      "Version":"2008-10-17",
      "Id":"__default_policy_ID",
      "Statement":[
         {
            "Sid":"__default_statement_ID",
            "Effect":"Allow",
            "Principal":{
               "AWS":"*"
            }
            ..
         },
         {
            "Sid":"1",
            "Effect":"Allow",
            "Principal":{
              "AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234"
             },
             "Action":[
               "sns:Subscribe"
             ],
             "Resource":[
               "arn:aws:sns:us-west-2:001234567890:s3_mybucket"
             ]
         },
         {
            "Sid":"s3-event-notifier",
            "Effect":"Allow",
            "Principal":{
               "Service":"s3.amazonaws.com"
            },
            "Action":"SNS:Publish",
            "Resource":"arn:aws:sns:us-west-2:001234567890:s3_mybucket",
            "Condition":{
               "ArnLike":{
                  "aws:SourceArn":"arn:aws:s3:*:*:s3_mybucket"
               }
            }
          }
       ]
     }
    

    Copy

11. Save changes ボタンをクリックします。

ステップ2: ステージを作成する（必要な場合）¶

CREATE STAGE コマンドを使用して、S3バケットを参照する外部ステージを作成します。Snowflakeは、ステージングされたデータファイルを外部テーブルメタデータに読み取ります。

または、既存の外部ステージを使用できます。

次の例では、ユーザーセッションのアクティブスキーマに mystage という名前のステージを作成します。クラウドストレージ URL にはパス files が含まれています。ステージは my_storage_int という名前のストレージ統合を参照します。

USE SCHEMA mydb.public;

CREATE STAGE mystage
  URL = 's3://mybucket/files'
  STORAGE_INTEGRATION = my_storage_int;

Copy

ステップ3: 外部テーブルを作成する¶

CREATE EXTERNAL TABLE を使用して外部テーブルを作成する。 前提条件：Amazon SNS とサブスクリプションを作成する から SNS トピック ARN を識別します。

CREATE EXTERNAL TABLE <table_name>
 ..
 AWS_SNS_TOPIC = '<sns_topic_arn>';

条件:

AWS_SNS_TOPIC = '<SNSトピックARN>'

S3バケットの SNS トピックの ARN を指定します。CREATE EXTERNAL TABLE ステートメントは、指定された SNS トピックにSnowflake SQS キューをサブスクライブします。

例えば、ステージングされたファイルから JSON データを読み取る mydb.public スキーマに外部テーブルを作成します。ステージ参照には、 path1 という名前のフォルダーパスが含まれています。外部テーブルはステージ定義にこのパスを追加します。つまり、外部テーブルは @mystage/files/path1 のデータファイルを参照します。 AUTO_REFRESH パラメーターはデフォルトで TRUE であることに注意してください。

CREATE EXTERNAL TABLE ext_table
 WITH LOCATION = @mystage/path1/
 FILE_FORMAT = (TYPE = JSON)
 AWS_SNS_TOPIC = 'arn:aws:sns:us-west-2:001234567890:s3_mybucket';

このパラメーターを外部テーブルから削除するには、現在、 CREATE OR REPLACE EXTERNAL TABLE 構文を使用して外部テーブルを再作成する必要があります。

ステップ4: 外部テーブルのメタデータを手動で更新する¶

REFRESH パラメーターを指定した ALTER EXTERNAL TABLE を使用して、外部テーブルのメタデータを1回手動で更新します。例：

ALTER EXTERNAL TABLE ext_table REFRESH;

Copy

これにより、ステップ3以降に発生したファイルリストへの変更とメタデータが同期されます。その後、S3イベント通知はメタデータの更新を自動的にトリガーします。

ステップ5: セキュリティを構成する¶

外部テーブルのクエリに使用される追加のロールごとに、 GRANT <権限> を使用してさまざまなオブジェクト（つまり、データベース、スキーマ、ステージ、およびテーブル）に十分なアクセス制御権限を付与します。