Amazon S3に対する外部テーブルの自動更新

このトピックでは、S3バケットの Amazon SQS (Simple Queue Service) 通知を使用して、外部テーブルを作成し、外部テーブルメタデータを自動的に更新する手順について説明します。この操作は、メタデータを外部ステージと外部パスの関連ファイルの最新セットと同期します。つまり、

  • パス内の新しいファイルがテーブルメタデータに追加されます。

  • パス内のファイルへの変更は、テーブルメタデータで更新されます。

  • パス内になくなったファイルは、テーブルメタデータから削除されます。

注釈

  • この機能は、 AWSのSnowflakeアカウントに制限されています。

  • このトピックで説明されているタスクを実行するには、スキーマに対する CREATE STAGE および CREATE EXTERNAL TABLE 権限を持つロールを使用する必要があります。

    さらに、 AWSへの管理アクセスが必要です。 AWS の管理者でない場合は、 AWS のイベント通知を設定するために必要な手順を完了するよう AWS の管理者に依頼してください。

  • Snowflakeは、コスト、イベントノイズ、遅延を低減するために、外部テーブルに対してサポートされているイベントのみを送信することをお勧めします。

このトピックの内容:

Amazon SQS を使用した外部テーブルの自動更新の制限

  • Virtual Private Snowflake(VPS) および AWS PrivateLink のお客様:Amazon SQS は現在、 AWS によって VPC エンドポイント としてはサポートされていません。 VPC ( VPS を含む)内の AWS サービスは SQS と通信できますが、このトラフィックは VPC 内にないため、 VPC によって保護されません。

  • SQS 通知は、監視対象のS3バケットに新しいファイルが到着し、ロードする準備ができたときにSnowflakeに通知します。SQS 通知には、S3イベントとファイル名のリストが含まれます。通知にはファイルの実際のデータは 含まれません

クラウドプラットフォームのサポート

S3イベントメッセージを使用した自動による外部メタデータ更新のトリガーは、Amazon Web Services(AWS)でホストされているSnowflakeアカウントでのみサポートされています。

クラウドストレージへの安全なアクセスの構成

注釈

データファイルを格納するS3バケットへの安全なアクセスをすでに構成している場合は、このセクションをスキップできます。

このセクションでは、ストレージ統合を使用して、Snowflakeが外部(つまり、S3)ステージで参照されるAmazon S3バケットに対してデータを読み書きできるようにする方法について説明します。統合は、名前付きのファーストクラスのSnowflakeオブジェクトであり、秘密キーまたはアクセストークンといった、クラウドプロバイダーの明示的な認証情報を渡す必要がありません。統合オブジェクトには、 AWS IDおよびアクセス管理(IAM)ユーザー IDが保存されます。組織の管理者が、 AWS アカウントの統合 IAM ユーザー権限を付与します。

統合では、統合を使用する外部ステージを作成するときにユーザーが指定できる場所を制限するバケット(およびオプションのパス)もリストできます。

注釈

  • このセクションの手順を完了するには、 IAM ポリシーおよびロールの作成および管理のための AWS の権限が必要です。AWS 管理者でない場合は、 AWS 管理者にこれらのタスクを実行するように依頼します。

  • 現在、ストレージ統合を使用した 政府リージョン のS3ストレージへのアクセスは、同じ政府リージョンの AWS でホストされているSnowflakeアカウントに限定されていることに注意してください。直接認証情報を使用した、政府リージョン外でホストされているアカウントからS3ストレージへのアクセスがサポートされています。

次の図は、S3ステージの統合フローを示しています。

Amazon S3ステージ統合フロー
  1. 外部(つまり、S3)ステージは、その定義でストレージ統合オブジェクトを参照します。

  2. Snowflakeは、ストレージ統合をアカウント用に作成されたS3 IAM ユーザーに自動的に関連付けます。Snowflakeは、SnowflakeアカウントのすべてのS3ストレージ統合によって参照される単一の IAM ユーザーを作成します。

  3. 組織の AWS 管理者は、 IAM ユーザーにステージ定義で参照されているバケットにアクセスする権限を付与します。多数の外部ステージオブジェクトでは、異なるバケットとパスを参照し、認証に同じストレージ統合を使用できます。

ユーザーがステージに対してデータをロードまたはアンロードすると、Snowflakeは、アクセスを許可または拒否する前に、バケット上の IAM ユーザーに付与された権限を確認します。

注釈

このオプションを強くお勧めします。これにより、クラウドストレージにアクセスするときに IAM 認証情報を提供する必要がなくなります。その他のストレージアクセスオプションについては Amazon S3へのセキュアアクセスの構成 をご参照ください。

このセクションの内容:

ステップ1: S3バケットのアクセス許可を構成する

AWS アクセス制御の要件

Snowflakeでは、フォルダー(およびサブフォルダー)内のファイルにアクセスできるようにするために、S3バケットおよびフォルダーに対する次の権限が必要です。

  • s3:GetBucketLocation

  • s3:GetObject

  • s3:GetObjectVersion

  • s3:ListBucket

ベストプラクティスとして、Snowflakeは、S3バケットへのSnowflakeアクセス用の IAM ポリシーを作成することをお勧めします。その後、ポリシーをロールに添付し、ロールのために AWS によって生成されたセキュリティ認証情報を使用して、バケット内のファイルにアクセスできます。

IAM ポリシーの作成

次の詳細な手順では、S3バケットにアクセスするために AWS 管理コンソールでSnowflakeのアクセス許可を構成する方法について説明します。

  1. AWS 管理コンソールにログインします。

  2. ホームダッシュボードから、 Identity & Access Management (IAM)を選択します。

    AWS マネジメントコンソールでのIDとアクセスの管理
  3. 左側のナビゲーションペインから Account settings を選択します。

  4. Security Token Service Regions リストを展開し、アカウントがある 地域 に対応する AWS 地域を見つけ、ステータスが Inactive の場合は Activate を選択します。

  5. 左側のナビゲーションペインから Policies を選択します。

  6. Create Policy をクリックします。

    ポリシーページのポリシーの作成ボタン
  7. JSON タブをクリックします。

  8. SnowflakeがS3バケットとフォルダーにアクセスできるようにするポリシードキュメントを追加します。

    次のポリシー( JSON 形式)は、単一のバケットとフォルダーパスを使用してデータをロードまたはアンロードするために必要な権限をSnowflakeに提供します。

    テキストをコピーしてポリシーエディターに貼り付けます。

    注釈

    • bucketprefix を実際のバケット名とフォルダーパスプレフィックスに確実に置き換えます。

    • 政府リージョン のバケットのAmazonリソースネーム(ARN)には、 arn:aws-us-gov:s3::: プレフィックスがあります。

    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Effect": "Allow",
                "Action": [
                  "s3:GetObject",
                  "s3:GetObjectVersion"
                ],
                "Resource": "arn:aws:s3:::<bucket>/<prefix>/*"
            },
            {
                "Effect": "Allow",
                "Action": [
                    "s3:ListBucket",
                    "s3:GetBucketLocation"
                ],
                "Resource": "arn:aws:s3:::<bucket>",
                "Condition": {
                    "StringLike": {
                        "s3:prefix": [
                            "<prefix>/*"
                        ]
                    }
                }
            }
        ]
    }
    
    Copy

    注釈

    "s3:prefix": 条件を ["*"] または ["< パス>/*"] に設定すると、指定されたバケット内のすべてのプレフィックスまたはバケット内のパスへのアクセスがそれぞれ許可されます。

    AWS ポリシーは、さまざまなセキュリティユースケースをサポートします。

  9. Review policy をクリックします。

  10. ポリシー名(例: snowflake_access)とオプションの説明を入力します。 Create policy をクリックします。

    ポリシーのレビューページのポリシーの作成ボタン

ステップ2: IAM AWS ロールを作成する

AWS 管理コンソールでSnowflakeのアクセス許可を設定するには、次の手順を実行します。

  1. AWS 管理コンソールにログインします。

  2. ホームダッシュボードから、 Identity & Access Management (IAM)を選択します。

    AWS マネジメントコンソールでのIDとアクセスの管理
  3. 左側のナビゲーションペインから Roles を選択します。

  4. Create role を選択します。

    AWS 管理コンソールで信頼できるエンティティページを選択します
  5. 信頼できるエンティティタイプとして Another AWS account を選択します。

  6. Account ID フィールドに、自分の AWS アカウント ID を一時的に入力します。後で、信頼関係を変更し、Snowflakeへのアクセスを許可します。

  7. Require external ID オプションを選択します。外部 ID は、Snowflakeなどのサードパーティに AWS リソース(S3バケットなど)へのアクセスを許可するために使用されます。

    0000 などのプレースホルダー ID を入力します。後のステップで、 IAM ロールの信頼関係を変更し、ストレージ統合の外部 ID を指定します。

  8. Next を選択します。

  9. ステップ1: S3バケットのアクセス許可を構成する (このトピック内)で作成したポリシーを選択します。

  10. Next を選択します。

    AWS 管理コンソールのレビューページ
  11. ロールの名前と説明を入力し、 Create role を選択します。

    これで、バケットの IAM ポリシー、および IAM ロールを作成し、ロールにポリシーを添付しました。

  12. ロールの概要ページにある Role ARN 値を見つけて記録します。次のステップでは、このロールを参照するSnowflake統合を作成します。

    IAMロール

注釈

Snowflakeは、一時的な認証情報を一定期間キャッシュしますが、60分の有効期限を越えることができません。Snowflakeからのアクセスを取り消すと、ユーザーはキャッシュの有効期限が切れるまでファイルをリストし、クラウドストレージの場所からデータにアクセスできる場合があります。

ステップ3:Snowflakeでクラウドストレージ統合を作成する

CREATE STORAGE INTEGRATION コマンドを使用してストレージ統合を作成します。ストレージ統合は、S3クラウドストレージ用に生成されたIDおよびアクセス管理(IAM)ユーザーと、許可またはブロックされたストレージロケーション(バケットなど)のオプションセットを保存するSnowflakeオブジェクトです。組織のクラウドプロバイダー管理者は、生成されたユーザーにストレージの場所に対するアクセス許可を付与します。このオプションにより、ユーザーはステージの作成時またはデータのロード時に、認証情報の提供を回避できます。

単一のストレージ統合で複数の外部(つまり、S3)ステージをサポートできます。ステージ定義にある URL は、 STORAGE_ALLOWED_LOCATIONS パラメーターのために指定されたS3バケット(およびオプションのパス)に合わせる必要があります。

注釈

この SQL コマンドを実行できるのは、アカウント管理者( ACCOUNTADMIN ロールを持つユーザー)またはグローバル CREATE INTEGRATION 権限を持つロールのみです。

CREATE STORAGE INTEGRATION <integration_name>
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = '<iam_role>'
  STORAGE_ALLOWED_LOCATIONS = ('s3://<bucket>/<path>/', 's3://<bucket>/<path>/')
  [ STORAGE_BLOCKED_LOCATIONS = ('s3://<bucket>/<path>/', 's3://<bucket>/<path>/') ]
Copy

条件:

  • integration_name は、新しい統合の名前です。

  • iam_role は、 ステップ2: AWS で IAM ロールを作成する (このトピック内)で作成したロールのAmazonリソースネーム(ARN)です。

  • bucket は、データファイルを保存するS3バケットの名前です(例: mybucket)。必須の STORAGE_ALLOWED_LOCATIONS パラメーターおよびオプションの STORAGE_BLOCKED_LOCATIONS パラメーターは、この統合を参照するステージが作成または変更されたときに、それぞれこれらのバケットへのアクセスを制限またはブロックします。

  • path は、バケット内のオブジェクトを細かく制御するために使用できるオプションのパスです。

次の例では、アカウント内のすべてのバケットへのアクセスを許可し、定義された sensitivedata フォルダーへのアクセスをブロックする統合を作成します。

この統合も使用する追加の外部ステージは、許可されたバケットとパスを参照できます。

CREATE STORAGE INTEGRATION s3_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::001234567890:role/myrole'
  STORAGE_ALLOWED_LOCATIONS = ('*')
  STORAGE_BLOCKED_LOCATIONS = ('s3://mybucket1/mypath1/sensitivedata/', 's3://mybucket2/mypath2/sensitivedata/');
Copy

注釈

オプションで、 STORAGE_AWS_EXTERNAL_ID パラメーターを使用して、独自の外部 ID を指定します。複数の外部ボリュームやストレージ統合で同じ外部 ID を使用する場合は、このオプションを選択します。

ステップ4:Snowflakeアカウントの AWS IAM ユーザーを取得する

  1. Snowflakeアカウント用に自動的に作成された IAM ユーザーの ARN を取得するには、 DESCRIBE INTEGRATION を使用します。

    DESC INTEGRATION <integration_name>;
    
    Copy

    条件:

    例:

    DESC INTEGRATION s3_int;
    
    +---------------------------+---------------+--------------------------------------------------------------------------------+------------------+
    | property                  | property_type | property_value                                                                 | property_default |
    +---------------------------+---------------+--------------------------------------------------------------------------------+------------------|
    | ENABLED                   | Boolean       | true                                                                           | false            |
    | STORAGE_ALLOWED_LOCATIONS | List          | s3://mybucket1/mypath1/,s3://mybucket2/mypath2/                                | []               |
    | STORAGE_BLOCKED_LOCATIONS | List          | s3://mybucket1/mypath1/sensitivedata/,s3://mybucket2/mypath2/sensitivedata/    | []               |
    | STORAGE_AWS_IAM_USER_ARN  | String        | arn:aws:iam::123456789001:user/abc1-b-self1234                                 |                  |
    | STORAGE_AWS_ROLE_ARN      | String        | arn:aws:iam::001234567890:role/myrole                                          |                  |
    | STORAGE_AWS_EXTERNAL_ID   | String        | MYACCOUNT_SFCRole=2_a123456/s0aBCDEfGHIJklmNoPq=                               |                  |
    +---------------------------+---------------+--------------------------------------------------------------------------------+------------------+
    
    Copy
  2. 次のプロパティの値を記録します。

    プロパティ

    説明

    STORAGE_AWS_IAM_USER_ARN

    Snowflakeアカウント用に作成された AWS IAM ユーザー。例えば、 arn:aws:iam::123456789001:user/abc1-b-self1234。Snowflakeは、Snowflakeアカウント全体用に単一の IAM ユーザーをプロビジョニングします。アカウント内のすべてのS3ストレージ統合では、その IAM ユーザーが使用されます。

    STORAGE_AWS_EXTERNAL_ID

    Snowflakeが AWS との信頼関係を確立するために使用する外部 ID。ストレージ統合の作成時に外部 ID (STORAGE_AWS_EXTERNAL_ID)を指定しなかった場合、Snowflakeは ID を生成して使用します。

    これらの値は次のセクションで提供します。

ステップ5:バケットオブジェクトにアクセスするために IAM ユーザー権限を付与する

次の手順では、S3バケットを使用してデータをロードおよびアンロードできるように、 AWS 管理コンソールでSnowflakeの IAM アクセス許可を構成する方法を説明します。

  1. AWS 管理コンソールにログインします。

  2. Identity & Access Management (IAM)を選択します。

    AWS マネジメントコンソールでのIDとアクセスの管理
  3. 左側のナビゲーションペインから Roles を選択します。

  4. ステップ2: IAM AWS ロールを作成する (このトピック内)で作成したロールを選択します。

  5. Trust relationships タブを選択します。

  6. Edit trust relationship を選択します。

  7. ステップ4:Snowflakeアカウントの AWS IAM ユーザーを取得する (このトピック内)で記録した DESC STORAGE INTEGRATION 出力値でポリシードキュメントを変更します。

    IAM ロールのポリシードキュメント

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Sid": "",
          "Effect": "Allow",
          "Principal": {
            "AWS": "<snowflake_user_arn>"
          },
          "Action": "sts:AssumeRole",
          "Condition": {
            "StringEquals": {
              "sts:ExternalId": "<snowflake_external_id>"
            }
          }
        }
      ]
    }
    
    Copy

    条件:

    • snowflake_user_arn は、記録した STORAGE_AWS_IAM_USER_ARN 値です。

    • snowflake_external_id は、記録した STORAGE_AWS_EXTERNAL_ID 値です。

      この例では、 snowflake_external_id の値は MYACCOUNT_SFCRole=2_a123456/s0aBCDEfGHIJklmNoPq= です。

      注釈

      セキュリティ上の理由から、外部 ID を指定せずに新しいストレージ統合を作成した場合(または CREATE OR REPLACE STORAGE INTEGRATION 構文を使用して既存のストレージ統合を再作成した場合)、新しい統合には 異なる 外部 ID が含まれるため、信頼ポリシーを更新しない限り信頼関係を解決できません。

  8. Update Trust Policy ボタンを選択します。変更が保存されます。

注釈

Snowflakeは、一時的な認証情報を一定期間キャッシュしますが、60分の有効期限を越えることができません。Snowflakeからのアクセスを取り消すと、ユーザーはキャッシュの有効期限が切れるまでファイルを一覧表示し、クラウドストレージの場所からデータを読み込むことができる場合があります。

正しいオプションの決定

先に進む前に、データファイルが置かれているS3バケットのターゲットパス(または AWS 用語では「プレフィックス」)にS3イベント通知が存在するかどうかを確認します。AWS ルールでは、同じパスに対して競合する通知を作成することを禁止しています。

Amazon SQS を使用して外部テーブルメタデータの更新を自動化するための、次のオプションがサポートされています。

  • オプション1。新しいS3イベント通知: S3バケットのターゲットパスのイベント通知を作成します。パス内の新しいファイル、削除されたファイル、または変更されたファイルで外部テーブルメタデータの更新が必要になると、イベント通知は SQS キューを介してSnowflakeに通知します。

    これが最も一般的なオプションです。

    重要

    S3バケットに競合するイベント通知が存在する場合は、代わりにオプション2を使用します。

  • オプション2。既存のイベント通知: Amazon Simple Notification Service(SNS) をブロードキャスターとして構成し、外部テーブル更新自動化用のSnowflake SQS キューを含む、複数のエンドポイント(または「サブスクライバー」。例: SQS キューまたは AWS Lambdaワークロード)に通知を共有するようにします。SNS によって発行されたS3イベント通知は、 SQS キューを介してパス内のファイルの変更をSnowflakeに通知します。

オプション1: 新しいS3イベント通知を作成する

このセクションでは、S3バケットの Amazon SQS (Simple Queue Service) 通知を使用して、外部テーブルメタデータを自動的に更新するための最も一般的なオプションについて説明します。手順では、データファイルが保存されているS3バケットのターゲットパス(または AWS の用語では「プレフィックス」)のイベント通知を作成する方法を説明します。

重要

S3バケットに対して競合するイベント通知が存在する場合は、代わりに オプション2:Amazon SNS を構成する (このトピック内)を使用します。AWS ルールでは、同じターゲットパスに対して競合する通知の作成を禁じています。

ステップ1: ステージを作成する(必要な場合)

CREATE STAGE コマンドを使用して、S3バケットを参照する外部ステージを作成します。Snowflakeは、ステージングされたデータファイルを外部テーブルメタデータに読み取ります。または、既存の外部ステージを使用できます。

注釈

  • クラウドストレージの場所への安全なアクセスを構成するには、 クラウドストレージへの安全なアクセスの構成 (このトピック内)をご参照ください。

  • CREATE STAGE ステートメントでストレージ統合を参照するには、ロールにストレージ統合オブジェクトに対する USAGE 権限が必要です。

次の例では、ユーザーセッションのアクティブスキーマに mystage という名前のステージを作成します。クラウドストレージ URL にはパス files が含まれています。ステージは my_storage_int という名前のストレージ統合を参照します。

USE SCHEMA mydb.public;

CREATE STAGE mystage
  URL = 's3://mybucket/files'
  STORAGE_INTEGRATION = my_storage_int;
Copy

ステップ2: 外部テーブルを作成する

CREATE EXTERNAL TABLE コマンドを使用して外部テーブルを作成します。例えば、ステージングされたファイルから JSON データを読み取る mydb.public スキーマに外部テーブルを作成します。

ステージ参照には、 path1 という名前のフォルダーパスが含まれています。外部テーブルはステージ定義にこのパスを追加します。つまり、外部テーブルは @mystage/files/path1 のデータファイルを参照します。

AUTO_REFRESH パラメーターはデフォルトで TRUE であることに注意してください。

CREATE OR REPLACE EXTERNAL TABLE ext_table
 WITH LOCATION = @mystage/path1/
 FILE_FORMAT = (TYPE = JSON);
Copy

ステップ3: イベント通知を構成する

S3バケットのイベント通知を設定して、外部テーブルメタデータを読み込むための新しいデータまたは更新されたデータが利用可能になったときにSnowflakeに通知します。自動更新機能は、S3からSnowflakeにイベント通知を配信するために SQS キューに依存しています。

使いやすくするために、これらの SQS キューはSnowflakeによって作成および管理されます。 SHOW EXTERNAL TABLES コマンド出力には、 SQS キューのAmazonリソースネーム(ARN)が表示されます。

  1. SHOW EXTERNAL TABLES コマンドを実行します:

    SHOW EXTERNAL TABLES;
    
    Copy

    notification_channel 列の外部テーブルの SQS キューの ARN に注意してください。 ARN を便利な場所にコピーします。

    注釈

    AWS ガイドラインに従って、SnowflakeはS3バケットごとに1つ以下の SQS キューを指定します。この SQS キューは、同じ AWS アカウントの複数のバケットで共有できます。 SQS キューは、同じS3バケットからデータファイルを読み取るすべての外部テーブルの通知を調整します。新しいデータファイルまたは変更されたデータファイルがバケットにアップロードされると、ステージディレクトリパスと一致するすべての外部テーブル定義がファイルの詳細をメタデータに読み込みます。

  2. AWS 管理コンソールにログインします。

  3. Amazon S3ドキュメント に記載されている手順を使用して、S3バケットのイベント通知を構成します。次のようにフィールドに入力します。

    • Name :イベント通知の名前(例: Auto-ingest Snowflake)。

    • EventsObjectCreate (All) および ObjectRemoved オプションを選択します。

    • Send to :ドロップダウンリストから SQS Queue を選択します。

    • SQS :ドロップダウンリストから Add SQS queue ARN を選択します。

    • SQS queue ARN : SHOW EXTERNAL TABLES 出力から SQS キュー名を貼り付けます。

注釈

これらの手順は、S3バケット全体のアクティビティをモニターする単一のイベント通知を作成します。これが最も簡単なアプローチです。この通知は、S3バケットディレクトリでより詳細なレベルで構成されたすべての外部テーブルを処理します。

または、上記の手順で、1つ以上のパスおよび/またはファイル拡張子(または AWS の用語では プレフィックス および サフィックス)を構成して、イベントアクティビティをフィルタリングします。手順については、関連する AWS ドキュメントトピック のオブジェクトキー名フィルタリング情報をご参照ください。通知で監視する追加のパスまたはファイル拡張子ごとにこれらの手順を繰り返します。

AWS では、これらの通知 キュー構成 の数がS3バケットごとに最大100に制限されます。

また、 AWS では、同じS3バケットのキュー構成の重複(イベント通知全体)が許可されません。たとえば、既存の通知が s3://mybucket/files/path1 に構成されている場合、 s3://mybucket/files などの上位レベルで別の通知を作成することはできません。その逆も同様です。

これで、自動更新のある外部ステージが構成されました。

新規または更新されたデータファイルがS3バケットに追加されると、イベント通知はSnowflakeに通知して、それらを外部テーブルメタデータにスキャンします。

ステップ4: 外部テーブルのメタデータを手動で更新する

REFRESH パラメーターを指定した ALTER EXTERNAL TABLE を使用して、外部テーブルのメタデータを1回手動で更新します。例:

ALTER EXTERNAL TABLE ext_table REFRESH;
Copy

これにより、ステップ2以降に発生したファイルリストへの変更とメタデータが同期されます。その後、S3イベント通知はメタデータの更新を自動的にトリガーします。

ステップ5: セキュリティを構成する

外部テーブルのクエリに使用される追加のロールごとに、 GRANT <権限> を使用してさまざまなオブジェクト(つまり、データベース、スキーマ、ステージ、およびテーブル)に十分なアクセス制御権限を付与します。

オブジェクト

権限

注意

データベース

USAGE

スキーマ

USAGE

名前付きステージ

USAGE , READ

名前付きファイル形式

USAGE

外部テーブル

SELECT

オプション2:Amazon SNS の構成

このセクションでは、S3バケットの Amazon SQS (Simple Queue Service) 通知を使用して、外部テーブルメタデータの更新を自動的にトリガーする方法について説明します。この手順では、 Amazon Simple Notification Service(SNS) をブロードキャスターとして構成して、S3バケットのイベント通知を複数のサブスクライバー(例: SQS キューまたは AWS Lambdaワークロード)にパブリッシュする方法を説明します。サブスクライバーには、外部テーブル更新自動化用のSnowflake SQS キューを含みます。

注釈

これらの手順は、データファイルが置かれているS3バケットのターゲットパスにイベント通知が存在することを前提としています。イベント通知が存在しない場合は、次のいずれかを実行します。

前提条件:Amazon SNS トピックとサブスクリプションを作成する

  1. AWS アカウントで SNS トピックを作成して、S3バケットのSnowflakeステージロケーションのすべてのメッセージを処理します。

  2. S3イベント通知(例:他の SQS キューまたは AWS Lambdaワークロード)のターゲットの宛先をこのトピックにサブスクライブします。SNS バケットのイベント通知をトピックのすべてのサブスクライバーにパブリッシュします。

手順については、 SNS ドキュメント をご参照ください。

ステップ1:Snowflake SQS キューを SNS トピックに登録する

  1. AWS 管理コンソールにログインします。

  2. ホームダッシュボードから、 Simple Notification Service (SNS)を選択します。

  3. 左側のナビゲーションペインから Topics を選択します。

  4. S3バケットのトピックを見つけます。トピック ARN に注意します。

  5. Snowflakeクライアントを使用して、 SNS トピック ARNで SYSTEM$GET_AWS_SNS_IAM_POLICY システム関数をクエリします。

    select system$get_aws_sns_iam_policy('<sns_topic_arn>');
    
    Copy

    この関数は、 SNS トピックをサブスクライブするSnowflake SQS キュー許可を付与する IAM ポリシーを返します。

    例:

    select system$get_aws_sns_iam_policy('arn:aws:sns:us-west-2:001234567890:s3_mybucket');
    
    +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    | SYSTEM$GET_AWS_SNS_IAM_POLICY('ARN:AWS:SNS:US-WEST-2:001234567890:S3_MYBUCKET')                                                                                                                                                                   |
    +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    | {"Version":"2012-10-17","Statement":[{"Sid":"1","Effect":"Allow","Principal":{"AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234"},"Action":["sns:Subscribe"],"Resource":["arn:aws:sns:us-west-2:001234567890:s3_mybucket"]}]}                 |
    +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    
    Copy
  6. AWS 管理コンソールに戻ります。左側のナビゲーションペインから Topics を選択します。

  7. S3バケットのトピックを選択し、 Edit ボタンをクリックします。 Edit ページが開きます。

  8. Access policy - Optional をクリックして、ページのこの領域を展開します。

  9. SYSTEM$GET_AWS_SNS_IAM_POLICY 関数の結果から追加された IAM ポリシーを JSON ドキュメントにマージします。

    例:

    元の IAM ポリシー(略称):

    {
      "Version":"2008-10-17",
      "Id":"__default_policy_ID",
      "Statement":[
         {
            "Sid":"__default_statement_ID",
            "Effect":"Allow",
            "Principal":{
               "AWS":"*"
            }
            ..
         }
       ]
     }
    
    Copy

    統合された IAM ポリシー:

    {
      "Version":"2008-10-17",
      "Id":"__default_policy_ID",
      "Statement":[
         {
            "Sid":"__default_statement_ID",
            "Effect":"Allow",
            "Principal":{
               "AWS":"*"
            }
            ..
         },
         {
            "Sid":"1",
            "Effect":"Allow",
            "Principal":{
              "AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234"
             },
             "Action":[
               "sns:Subscribe"
             ],
             "Resource":[
               "arn:aws:sns:us-west-2:001234567890:s3_mybucket"
             ]
         }
       ]
     }
    
    Copy
  10. 追加のポリシー許可を追加して、S3がバケットのイベント通知を SNS トピックに公開できるようにします。

    例(これらの手順全体で使用される SNS トピック ARN およびS3バケットを使用):

    {
        "Sid":"s3-event-notifier",
        "Effect":"Allow",
        "Principal":{
           "Service":"s3.amazonaws.com"
        },
        "Action":"SNS:Publish",
        "Resource":"arn:aws:sns:us-west-2:001234567890:s3_mybucket",
        "Condition":{
           "ArnLike":{
              "aws:SourceArn":"arn:aws:s3:*:*:s3_mybucket"
           }
        }
     }
    
    Copy

    統合された IAM ポリシー:

    {
      "Version":"2008-10-17",
      "Id":"__default_policy_ID",
      "Statement":[
         {
            "Sid":"__default_statement_ID",
            "Effect":"Allow",
            "Principal":{
               "AWS":"*"
            }
            ..
         },
         {
            "Sid":"1",
            "Effect":"Allow",
            "Principal":{
              "AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234"
             },
             "Action":[
               "sns:Subscribe"
             ],
             "Resource":[
               "arn:aws:sns:us-west-2:001234567890:s3_mybucket"
             ]
         },
         {
            "Sid":"s3-event-notifier",
            "Effect":"Allow",
            "Principal":{
               "Service":"s3.amazonaws.com"
            },
            "Action":"SNS:Publish",
            "Resource":"arn:aws:sns:us-west-2:001234567890:s3_mybucket",
            "Condition":{
               "ArnLike":{
                  "aws:SourceArn":"arn:aws:s3:*:*:s3_mybucket"
               }
            }
          }
       ]
     }
    
    Copy
  11. Save changes ボタンをクリックします。

ステップ2: ステージを作成する(必要な場合)

CREATE STAGE コマンドを使用して、S3バケットを参照する外部ステージを作成します。Snowflakeは、ステージングされたデータファイルを外部テーブルメタデータに読み取ります。

または、既存の外部ステージを使用できます。

注釈

  • クラウドストレージの場所への安全なアクセスを構成するには、 クラウドストレージへの安全なアクセスの構成 (このトピック内)をご参照ください。

  • CREATE STAGE ステートメントでストレージ統合を参照するには、ロールにストレージ統合オブジェクトに対する USAGE 権限が必要です。

次の例では、ユーザーセッションのアクティブスキーマに mystage という名前のステージを作成します。クラウドストレージ URL にはパス files が含まれています。ステージは my_storage_int という名前のストレージ統合を参照します。

USE SCHEMA mydb.public;

CREATE STAGE mystage
  URL = 's3://mybucket/files'
  STORAGE_INTEGRATION = my_storage_int;
Copy

ステップ3: 外部テーブルを作成する

CREATE EXTERNAL TABLE を使用して外部テーブルを作成する。 前提条件:Amazon SNS とサブスクリプションを作成する から SNS トピック ARN を識別します。

CREATE EXTERNAL TABLE <table_name>
 ..
 AWS_SNS_TOPIC = '<sns_topic_arn>';
Copy

条件:

AWS_SNS_TOPIC = '<SNSトピックARN>'

S3バケットの SNS トピックの ARN を指定します。CREATE EXTERNAL TABLE ステートメントは、指定された SNS トピックにSnowflake SQS キューをサブスクライブします。

例えば、ステージングされたファイルから JSON データを読み取る mydb.public スキーマに外部テーブルを作成します。ステージ参照には、 path1 という名前のフォルダーパスが含まれています。外部テーブルはステージ定義にこのパスを追加します。つまり、外部テーブルは @mystage/files/path1 のデータファイルを参照します。 AUTO_REFRESH パラメーターはデフォルトで TRUE であることに注意してください。

CREATE EXTERNAL TABLE ext_table
 WITH LOCATION = @mystage/path1/
 FILE_FORMAT = (TYPE = JSON)
 AWS_SNS_TOPIC = 'arn:aws:sns:us-west-2:001234567890:s3_mybucket';
Copy

このパラメーターを外部テーブルから削除するには、現在、 CREATE OR REPLACE EXTERNAL TABLE 構文を使用して外部テーブルを再作成する必要があります。

ステップ4: 外部テーブルのメタデータを手動で更新する

REFRESH パラメーターを指定した ALTER EXTERNAL TABLE を使用して、外部テーブルのメタデータを1回手動で更新します。例:

ALTER EXTERNAL TABLE ext_table REFRESH;
Copy

これにより、ステップ3以降に発生したファイルリストへの変更とメタデータが同期されます。その後、S3イベント通知はメタデータの更新を自動的にトリガーします。

ステップ5: セキュリティを構成する

外部テーブルのクエリに使用される追加のロールごとに、 GRANT <権限> を使用してさまざまなオブジェクト(つまり、データベース、スキーマ、ステージ、およびテーブル)に十分なアクセス制御権限を付与します。

オブジェクト

権限

注意

データベース

USAGE

スキーマ

USAGE

名前付きステージ

USAGE , READ

名前付きファイル形式

USAGE

外部テーブル

SELECT