Amazon S3용 Snowpipe 자동화하기¶

1단계: S3 버킷에 대한 액세스 허가 구성¶

2단계: AWS에서 IAM 역할 만들기¶

AWS Management Console에서 Snowflake에 대한 액세스 권한을 구성하려면 다음을 수행하십시오.

1. AWS Management Console에 로그인합니다.

2. 홈 대시보드에서 Identity & Access Management (IAM)를 선택합니다.

   

3. 왼쪽 탐색 창에서 Roles 를 선택합니다.

4. Create role 를 선택합니다.

   

5. Another AWS account 을 신뢰할 수 있는 엔터티 타입으로 선택합니다.

6. Account ID 필드에 본인의 AWS 계정 ID를 임시로 입력합니다. 이후에 신뢰 관계를 수정하고 Snowflake에 대한 액세스 권한을 부여합니다.

7. Require external ID 옵션을 선택합니다. AWS 리소스(예: S3 버킷)에 대한 액세스 권한을 Snowflake와 같은 서드 파티에 부여하는 데 외부 ID가 사용됩니다.

   0000 과 같은 자리 표시자 ID를 입력합니다. 이후 단계에서는 IAM 역할에 대한 신뢰 관계를 수정하고 저장소 통합을 위한 외부 ID를 지정합니다.

8. Next 를 선택합니다.

9. 이 항목의 1단계: S3 버킷에 대한 액세스 허가 구성 에서 생성한 정책을 선택합니다.

10. Next 를 선택합니다.

    

11. 역할의 이름과 설명을 입력한 다음 Create role 을 선택합니다.

    이제 버킷에 대한 IAM 정책을 생성하고 IAM 역할을 생성하며 정책을 역할에 연결했습니다.

12. 역할 요약 페이지에서 Role ARN 값을 찾아서 기록합니다. 다음 단계에서는 이 역할을 참조하는 Snowflake 통합을 생성합니다.

    

3단계: Snowflake에서 클라우드 저장소 통합 만들기¶

CREATE STORAGE INTEGRATION 명령을 사용하여 저장소 통합을 생성합니다. 저장소 통합은 S3 클라우드 저장소에 대해 생성된 ID 및 액세스 관리(IAM) 사용자를 허용하거나 차단된 저장소 위치(즉, 버킷)의 선택적 세트과 함께 저장하는 Snowflake 오브젝트입니다. 저장소 위치에 대한 권한은 조직의 클라우드 공급자 관리자가 생성된 사용자에게 부여합니다. 이 옵션을 사용하면 사용자가 스테이지를 생성하거나 데이터를 로드할 때 자격 증명을 제공하지 않아도 됩니다.

단일 저장소 통합은 여러 외부(즉, S3) 스테이지를 지원할 수 있습니다. 스테이지 정의의 URL은 STORAGE_ALLOWED_LOCATIONS 매개 변수에 대해 지정된 S3 버킷(및 선택적 경로)와 일치해야 합니다.

CREATE STORAGE INTEGRATION <integration_name>
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = '<iam_role>'
  STORAGE_ALLOWED_LOCATIONS = ('s3://<bucket>/<path>/', 's3://<bucket>/<path>/')
  [ STORAGE_BLOCKED_LOCATIONS = ('s3://<bucket>/<path>/', 's3://<bucket>/<path>/') ]

여기서

• integration_name 은 새 통합의 이름입니다.

• iam_role 은 이 항목의 2단계: AWS에서 IAM 역할 만들기 에서 생성한 역할의 Amazon 리소스 이름(ARN)입니다.

• bucket 은 데이터 파일을 저장하는 S3 버킷의 이름입니다(예: mybucket). 필수 STORAGE_ALLOWED_LOCATIONS 매개 변수와 선택적 STORAGE_BLOCKED_LOCATIONS 매개 변수는 이 통합을 참조하는 스테이지가 생성되거나 수정될 때 이러한 버킷에 대한 액세스를 각각 제한하거나 차단합니다.

• path 는 버킷의 오브젝트를 세부적으로 제어하기 위해 사용할 수 있는 선택적 경로입니다.

다음 예시에서는 계정의 모든 버킷에 대한 액세스를 허용하지만 정의된 sensitivedata 폴더에 대한 액세스를 차단하는 통합을 생성합니다.

이 통합도 사용하는 추가 외부 스테이지는 허용되는 버킷과 경로를 참조할 수 있습니다.

CREATE STORAGE INTEGRATION s3_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::001234567890:role/myrole'
  STORAGE_ALLOWED_LOCATIONS = ('*')
  STORAGE_BLOCKED_LOCATIONS = ('s3://mybucket1/mypath1/sensitivedata/', 's3://mybucket2/mypath2/sensitivedata/');

Copy

4단계: Snowflake 계정에 대한 AWS IAM 사용자 검색¶

1. Snowflake 계정에 대해 자동으로 생성된 IAM 사용자의 ARN을 검색하려면 DESCRIBE INTEGRATION 을 사용하십시오.

   DESC INTEGRATION <integration_name>;
   

   Copy

   여기서

   • integration_name 은 이 항목의 3단계: Snowflake에서 클라우드 저장소 통합 만들기 에서 생성한 통합의 이름입니다.

   예:

   DESC INTEGRATION s3_int;
   
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------+
   | property                  | property_type | property_value                                                                 | property_default |
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------|
   | ENABLED                   | Boolean       | true                                                                           | false            |
   | STORAGE_ALLOWED_LOCATIONS | List          | s3://mybucket1/mypath1/,s3://mybucket2/mypath2/                                | []               |
   | STORAGE_BLOCKED_LOCATIONS | List          | s3://mybucket1/mypath1/sensitivedata/,s3://mybucket2/mypath2/sensitivedata/    | []               |
   | STORAGE_AWS_IAM_USER_ARN  | String        | arn:aws:iam::123456789001:user/abc1-b-self1234                                 |                  |
   | STORAGE_AWS_ROLE_ARN      | String        | arn:aws:iam::001234567890:role/myrole                                          |                  |
   | STORAGE_AWS_EXTERNAL_ID   | String        | MYACCOUNT_SFCRole=2_a123456/s0aBCDEfGHIJklmNoPq=                               |                  |
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------+
   

   Copy

2. 다음 속성의 값을 기록합니다.

   속성	설명
   STORAGE_AWS_IAM_USER_ARN	Snowflake 계정용으로 생성된 AWS IAM 사용자입니다(예: arn:aws:iam::123456789001:user/abc1-b-self1234). Snowflake는 전체 Snowflake 계정에 대해 단일 IAM 사용자를 프로비저닝합니다. 계정의 모든 S3 저장소 통합은 해당 IAM 사용자를 사용합니다.
   STORAGE_AWS_EXTERNAL_ID	Snowflake가 AWS와의 신뢰 관계를 설정하는 데 사용하는 외부 ID입니다. 저장소 통합을 생성할 때 외부 ID(STORAGE_AWS_EXTERNAL_ID)를 지정하지 않은 경우 Snowflake는 사용할 수 있는 ID를 생성합니다.

   다음 섹션에서 이러한 값을 입력합니다.

5단계: 버킷 오브젝트에 액세스할 수 있도록 IAM 사용자 권한 부여¶

다음 단계별 지침에서는 S3 버킷을 사용하여 데이터를 로드 및 언로드할 수 있도록 AWS 관리 콘솔에서 Snowflake에 대한 IAM 액세스 허가를 구성하는 방법을 설명합니다.

1. AWS Management Console에 로그인합니다.

2. Identity & Access Management (IAM)를 선택합니다.

   

3. 왼쪽 탐색 창에서 Roles 를 선택합니다.

4. 이 항목의 2단계: AWS에서 IAM 역할 만들기 에서 생성한 역할을 선택합니다.

5. Trust relationships 탭을 선택합니다.

6. Edit trust relationship 를 선택합니다.

7. 이 항목의 4단계: Snowflake 계정에 대한 AWS IAM 사용자 검색 에서 기록한 DESC STORAGE INTEGRATION 출력 값으로 정책 문서를 수정합니다.

   IAM 역할에 대한 정책 문서

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "",
         "Effect": "Allow",
         "Principal": {
           "AWS": "<snowflake_user_arn>"
         },
         "Action": "sts:AssumeRole",
         "Condition": {
           "StringEquals": {
             "sts:ExternalId": "<snowflake_external_id>"
           }
         }
       }
     ]
   }
   

   Copy

   여기서

   • snowflake_user_arn 은 사용자가 기록한 STORAGE_AWS_IAM_USER_ARN 값입니다.

   • snowflake_external_id 는 사용자가 기록한 STORAGE_AWS_EXTERNAL_ID 값입니다.

     이 예에서 snowflake_external_id 값은 MYACCOUNT_SFCRole=2_a123456/s0aBCDEfGHIJklmNoPq= 입니다.

     참고

     보안상의 이유로, 외부 ID를 지정하지 않고 새 저장소 통합을 생성하면(또는 CREATE OR REPLACE STORAGE INTEGRATION 구문을 사용하여 기존 저장소 통합을 다시 생성하면) 새 통합의 외부 ID가 다르므로 신뢰 정책을 업데이트하지 않으면 신뢰 관계를 확인할 수 없습니다.

8. Update Trust Policy 버튼을 선택합니다. 변경 사항이 저장됩니다.

1단계: 스테이지 만들기(필요한 경우)¶

CREATE STAGE 명령을 사용하여 S3 버킷을 참조하는 외부 스테이지를 생성합니다. Snowpipe는 스테이지에서 데이터 파일을 가져와 대상 테이블에 로드하기 전에 일시적으로 큐에 추가합니다. 아니면 기존 외부 스테이지를 사용할 수 있습니다.

다음 예에서는 사용자 세션에 대한 활성 스키마에 이름이 mystage 인 스테이지를 생성합니다. 클라우드 저장소 URL에는 files 경로가 포함됩니다. 스테이지는 my_storage_int 저장소 통합을 참조합니다.

USE SCHEMA snowpipe_db.public;

CREATE STAGE mystage
  URL = 's3://mybucket/load/files'
  STORAGE_INTEGRATION = my_storage_int;

Copy

2단계: 자동 수집이 활성화된 파이프 만들기¶

CREATE PIPE 명령을 사용하여 파이프를 생성합니다. 파이프는 수집 큐에서 대상 테이블로 데이터를 로드하기 위해 Snowpipe에서 사용하는 COPY INTO <테이블> 문을 정의합니다.

다음 예에서는 사용자 세션에 대한 활성 스키마에 이름이 mypipe 인 파이프를 생성합니다. 파이프는 mystage 스테이지에서 스테이징된 파일에서 mytable 테이블로 데이터를 로드합니다.

create pipe snowpipe_db.public.mypipe auto_ingest=true as
  copy into snowpipe_db.public.mytable
  from @snowpipe_db.public.mystage
  file_format = (type = 'JSON');

Copy

AUTO_INGEST=true 매개 변수는 새 데이터를 로드할 준비가 되면 S3 버킷에서 SQS 큐로 전송한 이벤트 알림을 읽도록 지정합니다.

3단계: 보안 구성¶

Snowpipe를 사용하여 연속 데이터 로드를 실행할 각 사용자에 대해 데이터 로드에 대한 오브젝트(즉, 대상 데이터베이스, 스키마 및 테이블, 스테이지 오브젝트 및 파이프)에 대한 충분한 액세스 제어 권한을 부여합니다.

Snowpipe를 사용하기 위해서는 다음 권한을 보유한 역할이 필요합니다.

GRANT <권한> 명령을 사용하여 역할에 권한을 부여합니다.

예를 들어, 이름이 snowpipe_role 인 파이프와 mypipe 데이터베이스 오브젝트 세트에 액세스할 수 있는 이름이 snowpipe_db.public 인 역할을 생성한 후 사용자에게 역할을 부여합니다.

-- Create a role to contain the Snowpipe privileges
use role securityadmin;

create or replace role snowpipe_role;

-- Grant the required privileges on the database objects
grant usage on database snowpipe_db to role snowpipe_role;

grant usage on schema snowpipe_db.public to role snowpipe_role;

grant insert, select on snowpipe_db.public.mytable to role snowpipe_role;

grant usage on stage snowpipe_db.public.mystage to role snowpipe_role;

-- Pause the pipe for OWNERSHIP transfer
alter pipe mypipe SET PIPE_EXECUTION_PAUSED = true;

-- Grant the OWNERSHIP privilege on the pipe object
grant ownership on pipe snowpipe_db.public.mypipe to role snowpipe_role;

-- Grant the role to a user
grant role snowpipe_role to user jsmith;

-- Set the role as the default role for the user
alter user jsmith set default_role = snowpipe_role;

-- Resume the pipe
alter pipe mypipe SET PIPE_EXECUTION_PAUSED = false;

Copy

4단계: 이벤트 알림 구성¶

새 데이터를 로드할 수 있을 때 Snowpipe에 알리도록 S3 버킷에 대한 이벤트 알림을 구성합니다. 자동 수집 기능은 SQS 큐를 사용하여 S3에서 Snowpipe로 이벤트 알림을 전달합니다.

편리하게 사용할 수 있도록, Snowflake가 Snowpipe SQS 큐를 생성 및 관리합니다. SHOW PIPES 명령의 출력은 SQS 큐의 Amazon 리소스 이름(ARN)을 표시합니다.

1. SHOW PIPES 명령을 실행합니다.

   SHOW PIPES;
   

   Copy

   notification_channel 열의 스테이지에 대한 ARN 큐의 SQS에 유의하십시오. 원하는 위치에 ARN을 복사합니다.

   참고

   AWS 지침에 따라 Snowflake는 S3 버킷당 SQS 큐를 1개만 지정합니다. 이 SQS 큐는 동일한 AWS 계정의 여러 버킷 사이에서 공유할 수 있습니다. SQS 큐는 S3 버킷의 외부 스테이지를 대상 테이블에 연결하는 모든 파이프에 대한 알림을 조정합니다. 데이터 파일이 버킷에 업로드되면 스테이지 디렉터리 경로와 일치하는 모든 파이프가 해당 대상 테이블에 파일을 한 번 로드합니다.

2. Amazon S3 콘솔에 로그인합니다.

3. Amazon S3 설명서 에서 제공되는 지침을 사용하여 S3 버킷에 대한 이벤트 알림을 구성합니다. 다음과 같이 필드를 입력합니다.

   • Name: 이벤트 알림의 이름(예: Auto-ingest Snowflake)입니다.

   • Events: ObjectCreate (All) 옵션을 선택합니다.

   • Send to: 드롭다운 목록에서 SQS Queue 를 선택합니다.

   • SQS: 드롭다운 목록에서 Add SQS queue ARN 를 선택합니다.

   • SQS queue ARN: SHOW PIPES 출력에서 SQS 큐의 이름을 붙여넣습니다.

이제 자동 수집 기능이 포함된 Snowpipe가 구성되었습니다!

새 데이터 파일이 S3 버킷에 추가되면 이벤트 알림은 Snowpipe에 파이프에 정의된 대상 테이블에 로드하도록 알립니다.

5단계: 기록 파일 로드¶

SQS 알림을 구성하기 전 외부 스테이지에 있던 데이터 파일의 백로그를 로드하려면 내역 데이터 로드하기 을 참조하십시오.

6단계: 스테이징된 파일 삭제¶

데이터를 로드하고 더 이상 파일이 필요하지 않으면 스테이징된 파일을 삭제합니다. 자세한 지침은 Snowpipe가 데이터를 로드한 후 스테이징된 파일 삭제하기 섹션을 참조하십시오.

전제 조건: Amazon SNS 항목 및 구독 만들기¶

1. AWS 계정에 SNS 항목을 생성하여 S3 버킷의 Snowflake 스테이지 위치에 대한 모든 메시지를 처리합니다.

2. S3 이벤트 알림(예: 다른 SQS 큐 또는 AWS Lambda 워크로드)에 대한 대상 오브젝트를 이 항목에 구독합니다. SNS 항목의 모든 구독자에게 버킷에 대한 이벤트 알림을 게시합니다.

자세한 지침은 SNS 설명서 를 참조하십시오.

1단계: Snowflake SQS 큐를 SNS 항목에 구독¶

1. AWS 관리 콘솔에 로그인합니다.

2. 홈 대시보드에서 Simple Notification Service (SNS)를 선택합니다.

3. 왼쪽 탐색 창에서 Topics 을 선택합니다.

4. S3 버킷에 대한 항목을 찾습니다. ARN 항목을 기록합니다.

5. Snowflake 클라이언트를 사용하여 SNS 항목 ARN을 사용하여 SYSTEM$GET_AWS_SNS_IAM_POLICY 시스템 함수를 쿼리합니다.

   select system$get_aws_sns_iam_policy('<sns_topic_arn>');
   

   Copy

   이 함수는 Snowflake SNS 항목을 구독할 수 있는 권한을 SQS 큐에 부여하는 IAM 정책을 반환합니다.

   예:

   select system$get_aws_sns_iam_policy('arn:aws:sns:us-west-2:001234567890:s3_mybucket');
   
   +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   | SYSTEM$GET_AWS_SNS_IAM_POLICY('ARN:AWS:SNS:US-WEST-2:001234567890:S3_MYBUCKET')                                                                                                                                                                   |
   +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   | {"Version":"2012-10-17","Statement":[{"Sid":"1","Effect":"Allow","Principal":{"AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234"},"Action":["sns:Subscribe"],"Resource":["arn:aws:sns:us-west-2:001234567890:s3_mybucket"]}]}                 |
   +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   

   Copy

6. AWS 관리 콘솔로 돌아갑니다. 왼쪽 탐색 창에서 Topics 을 선택합니다.

7. S3 버킷에 대한 항목을 선택하고 Edit 버튼을 클릭합니다. Edit 페이지가 열립니다.

8. Access policy - Optional 을 클릭하여 페이지의 이 영역을 확장합니다.

9. SYSTEM$GET_AWS_SNS_IAM_POLICY 함수에서 IAM 정책 추가를 병합하면 JSON 문서가 생성됩니다.

   예:

   원본 IAM 정책(축약형):

   {
     "Version":"2008-10-17",
     "Id":"__default_policy_ID",
     "Statement":[
        {
           "Sid":"__default_statement_ID",
           "Effect":"Allow",
           "Principal":{
              "AWS":"*"
           }
           ..
        }
      ]
    }
   

   Copy

   병합된 IAM 정책:

   {
     "Version":"2008-10-17",
     "Id":"__default_policy_ID",
     "Statement":[
        {
           "Sid":"__default_statement_ID",
           "Effect":"Allow",
           "Principal":{
              "AWS":"*"
           }
           ..
        },
        {
           "Sid":"1",
           "Effect":"Allow",
           "Principal":{
             "AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234"
            },
            "Action":[
              "sns:Subscribe"
            ],
            "Resource":[
              "arn:aws:sns:us-west-2:001234567890:s3_mybucket"
            ]
        }
      ]
    }
   

   Copy

10. S3가 버킷에 대한 이벤트 알림을 SNS 항목에 게시할 수 있도록 추가 정책 권한 부여를 추가합니다.

    예를 들어(이 지침 전체에서 사용되는 SNS 항목 ARN 및 S3 버킷 사용),

    {
        "Sid":"s3-event-notifier",
        "Effect":"Allow",
        "Principal":{
           "Service":"s3.amazonaws.com"
        },
        "Action":"SNS:Publish",
        "Resource":"arn:aws:sns:us-west-2:001234567890:s3_mybucket",
        "Condition":{
           "ArnLike":{
              "aws:SourceArn":"arn:aws:s3:*:*:s3_mybucket"
           }
        }
     }
    

    Copy

    병합된 IAM 정책:

    {
      "Version":"2008-10-17",
      "Id":"__default_policy_ID",
      "Statement":[
         {
            "Sid":"__default_statement_ID",
            "Effect":"Allow",
            "Principal":{
               "AWS":"*"
            }
            ..
         },
         {
            "Sid":"1",
            "Effect":"Allow",
            "Principal":{
              "AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234"
             },
             "Action":[
               "sns:Subscribe"
             ],
             "Resource":[
               "arn:aws:sns:us-west-2:001234567890:s3_mybucket"
             ]
         },
         {
            "Sid":"s3-event-notifier",
            "Effect":"Allow",
            "Principal":{
               "Service":"s3.amazonaws.com"
            },
            "Action":"SNS:Publish",
            "Resource":"arn:aws:sns:us-west-2:001234567890:s3_mybucket",
            "Condition":{
               "ArnLike":{
                  "aws:SourceArn":"arn:aws:s3:*:*:s3_mybucket"
               }
            }
          }
       ]
     }
    

    Copy

11. Save changes 버튼을 클릭합니다.

2단계: 스테이지 만들기(필요한 경우)¶

CREATE STAGE 명령을 사용하여 S3 버킷을 참조하는 외부 스테이지를 생성합니다. Snowpipe는 스테이지에서 데이터 파일을 가져와 대상 테이블에 로드하기 전에 일시적으로 큐에 추가합니다.

아니면 기존 외부 스테이지를 사용할 수 있습니다.

다음 예에서는 사용자 세션에 대한 활성 스키마에 이름이 mystage 인 스테이지를 생성합니다. 클라우드 저장소 URL에는 files 경로가 포함됩니다. 스테이지는 my_storage_int 저장소 통합을 참조합니다.

CREATE STAGE mystage
  URL = 's3://mybucket/load/files'
  STORAGE_INTEGRATION = my_storage_int;

Copy

3단계: 자동 수집이 활성화된 파이프 만들기¶

CREATE PIPE 명령을 사용하여 파이프를 생성합니다. 파이프는 수집 큐에서 대상 테이블로 데이터를 로드하기 위해 Snowpipe에서 사용하는 COPY INTO <테이블> 문을 정의합니다. COPY 문에서 전제 조건: Amazon SNS 항목 및 구독 만들기 에서 SNS 항목 ARN을 식별합니다.

다음 예에서는 사용자 세션에 대한 활성 스키마에 이름이 mypipe 인 파이프를 생성합니다. 파이프는 mystage 스테이지에서 스테이징된 파일에서 mytable 테이블로 데이터를 로드합니다.

create pipe snowpipe_db.public.mypipe
  auto_ingest=true
  aws_sns_topic='<sns_topic_arn>'
  as
    copy into snowpipe_db.public.mytable
    from @snowpipe_db.public.mystage
  file_format = (type = 'JSON');

Copy

여기서

AUTO_INGEST = true

새 데이터를 로드할 준비가 되면 S3 버킷에서 SQS 큐로 전송한 이벤트 알림을 읽도록 지정합니다.

AWS_SNS_TOPIC = '<sns_항목_arn>'

S3 버킷의 SNS 항목에 대한 ARN을 지정하며, 예를 들어 현재 예에서의 arn:aws:sns:us-west-2:001234567890:s3_mybucket 입니다. CREATE PIPE 문은 Snowflake SQS 큐가 지정된 SNS 항목을 구독하도록 합니다. 파이프는 SNS 항목을 통한 이벤트 알림에 의해 트리거된 수집 큐에만 파일을 복사합니다.

현재는, 파이프에서 매개 변수 중 하나를 제거하려면 CREATE OR REPLACE PIPE 구문을 사용하여 파이프를 다시 생성해야 합니다.

4단계: 보안 구성¶

Snowpipe를 사용하여 연속 데이터 로드를 실행할 각 사용자에 대해 데이터 로드에 대한 오브젝트(즉, 대상 데이터베이스, 스키마 및 테이블, 스테이지 오브젝트 및 파이프)에 대한 충분한 액세스 제어 권한을 부여합니다.

Snowpipe를 사용하기 위해서는 다음 권한을 보유한 역할이 필요합니다.

GRANT <권한> 명령을 사용하여 역할에 권한을 부여합니다.

예를 들어, 이름이 snowpipe_role 인 파이프와 mypipe 데이터베이스 오브젝트 세트에 액세스할 수 있는 이름이 snowpipe_db.public 인 역할을 생성한 후 사용자에게 역할을 부여합니다.

-- Create a role to contain the Snowpipe privileges
use role securityadmin;

create or replace role snowpipe_role;

-- Grant the required privileges on the database objects
grant usage on database snowpipe_db to role snowpipe_role;

grant usage on schema snowpipe_db.public to role snowpipe_role;

grant insert, select on snowpipe_db.public.mytable to role snowpipe_role;

grant usage, read on stage snowpipe_db.public.mystage to role snowpipe_role;

-- Pause the pipe for OWNERSHIP transfer
alter pipe mypipe SET PIPE_EXECUTION_PAUSED = true;

-- Grant the OWNERSHIP privilege on the pipe object
grant ownership on pipe snowpipe_db.public.mypipe to role snowpipe_role;

-- Grant the role to a user
grant role snowpipe_role to user jsmith;

-- Set the role as the default role for the user
alter user jsmith set default_role = snowpipe_role;

-- Resume the pipe
alter pipe mypipe SET PIPE_EXECUTION_PAUSED = false;

Copy

이제 자동 수집 기능이 포함된 Snowpipe가 구성되었습니다!

새 데이터 파일이 S3 버킷에 추가되면 이벤트 알림은 Snowpipe에 파이프에 정의된 대상 테이블에 로드하도록 알립니다.

5단계: 기록 파일 로드¶

SQS 알림을 구성하기 전 외부 스테이지에 있던 데이터 파일의 백로그를 로드하려면 내역 데이터 로드하기 을 참조하십시오.

6단계: 스테이징된 파일 삭제¶

데이터를 로드하고 더 이상 파일이 필요하지 않으면 스테이징된 파일을 삭제합니다. 자세한 지침은 Snowpipe가 데이터를 로드한 후 스테이징된 파일 삭제하기 섹션을 참조하십시오.

1단계: Amazon SNS 항목 만들기¶

이 항목의 전제 조건: Amazon SNS 항목 및 구독 만들기 를 따릅니다.

2단계: S3 버킷을 구독하고 SNS 항목으로 알림을 보내는 EventBridge 규칙 만들기¶

• S3 버킷에 대해 Amazon EventBridge를 활성화합니다.

• EventBridge 규칙을 만들어 1단계에서 만든 SNS 항목으로 알림을 보냅니다.

3단계: SQS 알림을 사용하여 Snowpipe 자동화를 위한 Amazon SNS 구성하기¶

이 항목의 옵션 2: SQS 알림을 사용하여 Snowpipe 자동화를 위한 Amazon SNS 구성하기 섹션을 따릅니다.