Amazon S3용 Snowpipe 자동화하기¶

1단계: S3 버킷에 대한 액세스 허가 구성¶

2단계: AWS에서 IAM 역할 만들기¶

AWS 관리 콘솔에서 AWS IAM 역할을 생성하여 데이터 파일이 포함된 S3 버킷에 대한 권한을 부여합니다.

1. AWS 관리 콘솔에 로그인합니다.

2. 홈 대시보드에서 Identity & Access Management (IAM)를 선택합니다.

   

3. 왼쪽 탐색 창에서 Roles 을 선택합니다.

4. Create role 버튼을 클릭합니다.

   

5. Another AWS account 을 신뢰할 수 있는 엔터티 타입으로 선택합니다.

6. Account ID 필드에 본인의 AWS 계정 ID를 임시로 입력합니다. 이후에 신뢰할 수 있는 관계를 수정하고 Snowflake에 대한 액세스 권한을 부여합니다.

7. Require external ID 옵션을 선택합니다. 0000 과 같은 더미 ID를 입력합니다. 이후에 신뢰 관계를 수정하고 Snowflake 스테이지에 대한 외부 ID를 지정합니다. AWS 리소스(즉, S3)에 대한 액세스 권한을 제3자(즉, Snowflake)에게 부여하려면 외부 ID가 필요합니다.

8. Next 버튼을 클릭합니다.

9. 이 항목의 1단계: S3 버킷에 대한 액세스 허가 구성 에서 생성한 정책을 찾아 해당 정책을 선택합니다.

10. Next 버튼을 클릭합니다.

    

11. 역할의 이름과 설명을 입력하고 Create role 버튼을 클릭합니다.

    이제 버킷에 대한 IAM 정책을 생성하고 IAM 역할을 생성하며 정책을 역할에 연결했습니다.

12. 역할 요약 페이지에 있는 Role ARN 값을 기록합니다. 다음 단계에서는 이 역할을 참조하는 Snowflake 통합을 생성합니다.

    

3단계: Snowflake에서 클라우드 저장소 통합 만들기¶

CREATE STORAGE INTEGRATION 명령을 사용하여 저장소 통합을 생성합니다. 저장소 통합은 S3 클라우드 저장소에 대해 생성된 ID 및 액세스 관리(IAM) 사용자를 허용하거나 차단된 저장소 위치(즉, 버킷)의 선택적 세트과 함께 저장하는 Snowflake 오브젝트입니다. 저장소 위치에 대한 권한은 조직의 클라우드 공급자 관리자가 생성된 사용자에게 부여합니다. 이 옵션을 사용하면 사용자가 스테이지를 생성하거나 데이터를 로드할 때 자격 증명을 제공하지 않아도 됩니다.

단일 저장소 통합은 여러 외부(즉, S3) 스테이지를 지원할 수 있습니다. 스테이지 정의의 URL은 STORAGE_ALLOWED_LOCATIONS 매개 변수에 대해 지정된 S3 버킷(및 선택적 경로)와 일치해야 합니다.

CREATE STORAGE INTEGRATION <integration_name>
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = '<iam_role>'
  STORAGE_ALLOWED_LOCATIONS = ('s3://<bucket>/<path>/', 's3://<bucket>/<path>/')
  [ STORAGE_BLOCKED_LOCATIONS = ('s3://<bucket>/<path>/', 's3://<bucket>/<path>/') ]

여기서

• integration_name 은 새 통합의 이름입니다.

• iam_role 은 이 항목의 2단계: AWS에서 IAM 역할 만들기 에서 생성한 역할의 Amazon 리소스 이름(ARN)입니다.

• bucket 은 데이터 파일을 저장하는 S3 버킷의 이름입니다(예: mybucket). 필수 STORAGE_ALLOWED_LOCATIONS 매개 변수와 선택적 STORAGE_BLOCKED_LOCATIONS 매개 변수는 이 통합을 참조하는 스테이지가 생성되거나 수정될 때 이러한 버킷에 대한 액세스를 각각 제한하거나 차단합니다.

• path 는 버킷의 오브젝트를 세부적으로 제어하기 위해 사용할 수 있는 선택적 경로입니다.

다음은 통합을 사용하여 두 버킷과 경로 중 하나를 참조하는 외부 스테이지를 명시적으로 제한하는 통합을 만드는 예입니다. 이후 단계에서 이러한 버킷과 경로 중 하나를 참조하는 외부 스테이지를 생성합니다.

이 통합도 사용하는 추가 외부 스테이지는 허용되는 버킷과 경로를 참조할 수 있습니다.

CREATE STORAGE INTEGRATION s3_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::001234567890:role/myrole'
  STORAGE_ALLOWED_LOCATIONS = ('s3://mybucket1/mypath1/', 's3://mybucket2/mypath2/')
  STORAGE_BLOCKED_LOCATIONS = ('s3://mybucket1/mypath1/sensitivedata/', 's3://mybucket2/mypath2/sensitivedata/');

Copy

4단계: Snowflake 계정에 대한 AWS IAM 사용자 검색¶

1. DESCRIBE INTEGRATION 명령을 실행하여 Snowflake 계정에 대해 자동으로 생성된 AWS IAM 사용자의 ARN을 검색합니다.

   DESC INTEGRATION <integration_name>;
   

   Copy

   여기서

   • integration_name 은 이 항목의 3단계: Snowflake에서 클라우드 저장소 통합 만들기 에서 생성한 통합의 이름입니다.

   예:

   DESC INTEGRATION s3_int;
   
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------+
   | property                  | property_type | property_value                                                                 | property_default |
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------|
   | ENABLED                   | Boolean       | true                                                                           | false            |
   | STORAGE_ALLOWED_LOCATIONS | List          | s3://mybucket1/mypath1/,s3://mybucket2/mypath2/                                | []               |
   | STORAGE_BLOCKED_LOCATIONS | List          | s3://mybucket1/mypath1/sensitivedata/,s3://mybucket2/mypath2/sensitivedata/    | []               |
   | STORAGE_AWS_IAM_USER_ARN  | String        | arn:aws:iam::123456789001:user/abc1-b-self1234                                 |                  |
   | STORAGE_AWS_ROLE_ARN      | String        | arn:aws:iam::001234567890:role/myrole                                          |                  |
   | STORAGE_AWS_EXTERNAL_ID   | String        | MYACCOUNT_SFCRole=2_a123456/s0aBCDEfGHIJklmNoPq=                               |                  |
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------+
   

   Copy

2. 다음 값을 기록합니다.

   값	설명
   STORAGE_AWS_IAM_USER_ARN	이 예에서 Snowflake 계정을 위해 생성한 AWS IAM 사용자인 arn:aws:iam::123456789001:user/abc1-b-self1234 입니다. 전체 Snowflake 계정에 대해 단일 IAM 사용자를 프로비저닝합니다. 모든 S3 저장소 통합에서는 해당 IAM 사용자를 사용합니다.
   STORAGE_AWS_EXTERNAL_ID	신뢰 관계를 구축하기 위해 필요한 외부 ID입니다.

   이러한 값은 다음 섹션에서 입력합니다.

5단계: 버킷 오브젝트에 액세스할 수 있도록 IAM 사용자 권한 부여¶

다음 단계별 지침에서는 S3 버킷을 사용하여 데이터를 로드 및 언로드할 수 있도록 AWS 관리 콘솔에서 Snowflake에 대한 IAM 액세스 허가를 구성하는 방법을 설명합니다.

1. AWS 관리 콘솔에 로그인합니다.

2. 홈 대시보드에서 Identity & Access Management (IAM)를 선택합니다.

   

3. 왼쪽 탐색 창에서 Roles 을 선택합니다.

4. 이 항목의 2단계: AWS에서 IAM 역할 만들기 에서 생성한 역할을 클릭합니다.

5. Trust relationships 탭을 클릭합니다.

6. Edit trust relationship 버튼을 클릭합니다.

7. 이 항목의 4단계: Snowflake 계정에 대한 AWS IAM 사용자 검색 에서 기록한 DESC STORAGE INTEGRATION 출력 값으로 정책 문서를 수정합니다.

   IAM 역할에 대한 정책 문서

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "",
         "Effect": "Allow",
         "Principal": {
           "AWS": "<snowflake_user_arn>"
         },
         "Action": "sts:AssumeRole",
         "Condition": {
           "StringEquals": {
             "sts:ExternalId": "<snowflake_external_id>"
           }
         }
       }
     ]
   }
   

   Copy

   여기서

   • snowflake_user_arn 은 사용자가 기록한 STORAGE_AWS_IAM_USER_ARN 값입니다.

   • snowflake_external_id 는 사용자가 기록한 STORAGE_AWS_EXTERNAL_ID 값입니다.

     이 예에서 snowflake_external_id 값은 MYACCOUNT_SFCRole=2_a123456/s0aBCDEfGHIJklmNoPq= 입니다.

     참고

     보안상의 이유로 새 저장소 통합을 생성하면(또는 CREATE OR REPLACE STORAGEINTEGRATION 구문을 사용하여 기존 저장소 통합을 다시 생성) 결과 통합의 ID가 다르므로 신뢰 정책이 수정되는 경우를 제외하고 신뢰 관계를 확인할 수 없습니다.

8. Update Trust Policy 버튼을 클릭합니다. 변경 사항이 저장됩니다.

1단계: 스테이지 만들기(필요한 경우)¶

CREATE STAGE 명령을 사용하여 S3 버킷을 참조하는 외부 스테이지를 생성합니다. Snowpipe는 스테이지에서 데이터 파일을 가져와 대상 테이블에 로드하기 전에 일시적으로 큐에 추가합니다. 아니면 기존 외부 스테이지를 사용할 수 있습니다.

다음 예에서는 사용자 세션에 대한 활성 스키마에 이름이 mystage 인 스테이지를 생성합니다. 클라우드 저장소 URL에는 files 경로가 포함됩니다. 스테이지는 my_storage_int 저장소 통합을 참조합니다.

USE SCHEMA snowpipe_db.public;

CREATE STAGE mystage
  URL = 's3://mybucket/load/files'
  STORAGE_INTEGRATION = my_storage_int;

Copy

2단계: 자동 수집이 활성화된 파이프 만들기¶

CREATE PIPE 명령을 사용하여 파이프를 생성합니다. 파이프는 수집 큐에서 대상 테이블로 데이터를 로드하기 위해 Snowpipe에서 사용하는 COPY INTO <테이블> 문을 정의합니다.

다음 예에서는 사용자 세션에 대한 활성 스키마에 이름이 mypipe 인 파이프를 생성합니다. 파이프는 mystage 스테이지에서 스테이징된 파일에서 mytable 테이블로 데이터를 로드합니다.

create pipe snowpipe_db.public.mypipe auto_ingest=true as
  copy into snowpipe_db.public.mytable
  from @snowpipe_db.public.mystage
  file_format = (type = 'JSON');

Copy

AUTO_INGEST=true 매개 변수는 새 데이터를 로드할 준비가 되면 S3 버킷에서 SQS 큐로 전송한 이벤트 알림을 읽도록 지정합니다.

3단계: 보안 구성¶

Snowpipe를 사용하여 연속 데이터 로드를 실행할 각 사용자에 대해 데이터 로드에 대한 오브젝트(즉, 대상 데이터베이스, 스키마 및 테이블, 스테이지 오브젝트 및 파이프)에 대한 충분한 액세스 제어 권한을 부여합니다.

Snowpipe를 사용하기 위해서는 다음 권한을 보유한 역할이 필요합니다.

GRANT <권한> 명령을 사용하여 역할에 권한을 부여합니다.

예를 들어, 이름이 snowpipe_role 인 파이프와 mypipe 데이터베이스 오브젝트 세트에 액세스할 수 있는 이름이 snowpipe_db.public 인 역할을 생성한 후 사용자에게 역할을 부여합니다.

-- Create a role to contain the Snowpipe privileges
use role securityadmin;

create or replace role snowpipe_role;

-- Grant the required privileges on the database objects
grant usage on database snowpipe_db to role snowpipe_role;

grant usage on schema snowpipe_db.public to role snowpipe_role;

grant insert, select on snowpipe_db.public.mytable to role snowpipe_role;

grant usage on stage snowpipe_db.public.mystage to role snowpipe_role;

-- Pause the pipe for OWNERSHIP transfer
alter pipe mypipe SET PIPE_EXECUTION_PAUSED = true;

-- Grant the OWNERSHIP privilege on the pipe object
grant ownership on pipe snowpipe_db.public.mypipe to role snowpipe_role;

-- Grant the role to a user
grant role snowpipe_role to user jsmith;

-- Set the role as the default role for the user
alter user jsmith set default_role = snowpipe_role;

-- Resume the pipe
alter pipe mypipe SET PIPE_EXECUTION_PAUSED = false;

Copy

4단계: 이벤트 알림 구성¶

새 데이터를 로드할 수 있을 때 Snowpipe에 알리도록 S3 버킷에 대한 이벤트 알림을 구성합니다. 자동 수집 기능은 SQS 큐를 사용하여 S3에서 Snowpipe로 이벤트 알림을 전달합니다.

편리하게 사용할 수 있도록, Snowflake가 Snowpipe SQS 큐를 생성 및 관리합니다. SHOW PIPES 명령의 출력은 SQS 큐의 Amazon 리소스 이름(ARN)을 표시합니다.

1. SHOW PIPES 명령을 실행합니다.

   SHOW PIPES;
   

   Copy

   notification_channel 열의 스테이지에 대한 ARN 큐의 SQS에 유의하십시오. 원하는 위치에 ARN을 복사합니다.

   참고

   AWS 지침에 따라 Snowflake는 S3 버킷당 SQS 큐를 1개만 지정합니다. 이 SQS 큐는 동일한 AWS 계정의 여러 버킷 사이에서 공유할 수 있습니다. SQS 큐는 S3 버킷의 외부 스테이지를 대상 테이블에 연결하는 모든 파이프에 대한 알림을 조정합니다. 데이터 파일이 버킷에 업로드되면 스테이지 디렉터리 경로와 일치하는 모든 파이프가 해당 대상 테이블에 파일을 한 번 로드합니다.

2. Amazon S3 콘솔에 로그인합니다.

3. Amazon S3 설명서 에서 제공되는 지침을 사용하여 S3 버킷에 대한 이벤트 알림을 구성합니다. 다음과 같이 필드를 입력합니다.

   • Name: 이벤트 알림의 이름(예: Auto-ingest Snowflake)입니다.

   • Events: ObjectCreate (All) 옵션을 선택합니다.

   • Send to: 드롭다운 목록에서 SQS Queue 를 선택합니다.

   • SQS: 드롭다운 목록에서 Add SQS queue ARN 를 선택합니다.

   • SQS queue ARN: SHOW PIPES 출력에서 SQS 큐의 이름을 붙여넣습니다.

이제 자동 수집 기능이 포함된 Snowpipe가 구성되었습니다!

새 데이터 파일이 S3 버킷에 추가되면 이벤트 알림은 Snowpipe에 파이프에 정의된 대상 테이블에 로드하도록 알립니다.

5단계: 과거 파일 로드¶

SQS 알림을 구성하기 전 외부 스테이지에 있던 데이터 파일의 백로그를 로드하려면 내역 데이터 로드하기 을 참조하십시오.

6단계: 스테이징된 파일 삭제¶

데이터를 로드하고 더 이상 파일이 필요하지 않으면 스테이징된 파일을 삭제합니다. 자세한 지침은 Snowpipe가 데이터를 로드한 후 스테이징된 파일 삭제하기 섹션을 참조하십시오.

전제 조건: Amazon SNS 항목 및 구독 만들기¶

1. AWS 계정에 SNS 항목을 생성하여 S3 버킷의 Snowflake 스테이지 위치에 대한 모든 메시지를 처리합니다.

2. S3 이벤트 알림(예: 다른 SQS 큐 또는 AWS Lambda 워크로드)에 대한 대상 오브젝트를 이 항목에 구독합니다. SNS 항목의 모든 구독자에게 버킷에 대한 이벤트 알림을 게시합니다.

자세한 지침은 SNS 설명서 를 참조하십시오.

1단계: Snowflake SQS 큐를 SNS 항목에 구독¶

1. AWS 관리 콘솔에 로그인합니다.

2. 홈 대시보드에서 Simple Notification Service (SNS)를 선택합니다.

3. 왼쪽 탐색 창에서 Topics 을 선택합니다.

4. S3 버킷에 대한 항목을 찾습니다. ARN 항목을 기록합니다.

5. Snowflake 클라이언트를 사용하여 SNS 항목 ARN을 사용하여 SYSTEM$GET_AWS_SNS_IAM_POLICY 시스템 함수를 쿼리합니다.

   select system$get_aws_sns_iam_policy('<sns_topic_arn>');
   

   Copy

   이 함수는 Snowflake SNS 항목을 구독할 수 있는 권한을 SQS 큐에 부여하는 IAM 정책을 반환합니다.

   예:

   select system$get_aws_sns_iam_policy('arn:aws:sns:us-west-2:001234567890:s3_mybucket');
   
   +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   | SYSTEM$GET_AWS_SNS_IAM_POLICY('ARN:AWS:SNS:US-WEST-2:001234567890:S3_MYBUCKET')                                                                                                                                                                   |
   +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   | {"Version":"2012-10-17","Statement":[{"Sid":"1","Effect":"Allow","Principal":{"AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234"},"Action":["sns:Subscribe"],"Resource":["arn:aws:sns:us-west-2:001234567890:s3_mybucket"]}]}                 |
   +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   

   Copy

6. AWS 관리 콘솔로 돌아갑니다. 왼쪽 탐색 창에서 Topics 을 선택합니다.

7. S3 버킷에 대한 항목을 선택하고 Edit 버튼을 클릭합니다. Edit 페이지가 열립니다.

8. Access policy - Optional 을 클릭하여 페이지의 이 영역을 확장합니다.

9. SYSTEM$GET_AWS_SNS_IAM_POLICY 함수에서 IAM 정책 추가를 병합하면 JSON 문서가 생성됩니다.

   예:

   원본 IAM 정책(축약형):

   {
     "Version":"2008-10-17",
     "Id":"__default_policy_ID",
     "Statement":[
        {
           "Sid":"__default_statement_ID",
           "Effect":"Allow",
           "Principal":{
              "AWS":"*"
           }
           ..
        }
      ]
    }
   

   Copy

   병합된 IAM 정책:

   {
     "Version":"2008-10-17",
     "Id":"__default_policy_ID",
     "Statement":[
        {
           "Sid":"__default_statement_ID",
           "Effect":"Allow",
           "Principal":{
              "AWS":"*"
           }
           ..
        },
        {
           "Sid":"1",
           "Effect":"Allow",
           "Principal":{
             "AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234"
            },
            "Action":[
              "sns:Subscribe"
            ],
            "Resource":[
              "arn:aws:sns:us-west-2:001234567890:s3_mybucket"
            ]
        }
      ]
    }
   

   Copy

10. S3가 버킷에 대한 이벤트 알림을 SNS 항목에 게시할 수 있도록 추가 정책 권한 부여를 추가합니다.

    예를 들어(이 지침 전체에서 사용되는 SNS 항목 ARN 및 S3 버킷 사용),

    {
        "Sid":"s3-event-notifier",
        "Effect":"Allow",
        "Principal":{
           "Service":"s3.amazonaws.com"
        },
        "Action":"SNS:Publish",
        "Resource":"arn:aws:sns:us-west-2:001234567890:s3_mybucket",
        "Condition":{
           "ArnLike":{
              "aws:SourceArn":"arn:aws:s3:*:*:s3_mybucket"
           }
        }
     }
    

    Copy

    병합된 IAM 정책:

    {
      "Version":"2008-10-17",
      "Id":"__default_policy_ID",
      "Statement":[
         {
            "Sid":"__default_statement_ID",
            "Effect":"Allow",
            "Principal":{
               "AWS":"*"
            }
            ..
         },
         {
            "Sid":"1",
            "Effect":"Allow",
            "Principal":{
              "AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234"
             },
             "Action":[
               "sns:Subscribe"
             ],
             "Resource":[
               "arn:aws:sns:us-west-2:001234567890:s3_mybucket"
             ]
         },
         {
            "Sid":"s3-event-notifier",
            "Effect":"Allow",
            "Principal":{
               "Service":"s3.amazonaws.com"
            },
            "Action":"SNS:Publish",
            "Resource":"arn:aws:sns:us-west-2:001234567890:s3_mybucket",
            "Condition":{
               "ArnLike":{
                  "aws:SourceArn":"arn:aws:s3:*:*:s3_mybucket"
               }
            }
          }
       ]
     }
    

    Copy

11. Save changes 버튼을 클릭합니다.

2단계: 스테이지 만들기(필요한 경우)¶

CREATE STAGE 명령을 사용하여 S3 버킷을 참조하는 외부 스테이지를 생성합니다. Snowpipe는 스테이지에서 데이터 파일을 가져와 대상 테이블에 로드하기 전에 일시적으로 큐에 추가합니다.

아니면 기존 외부 스테이지를 사용할 수 있습니다.

다음 예에서는 사용자 세션에 대한 활성 스키마에 이름이 mystage 인 스테이지를 생성합니다. 클라우드 저장소 URL에는 files 경로가 포함됩니다. 스테이지는 my_storage_int 저장소 통합을 참조합니다.

CREATE STAGE mystage
  URL = 's3://mybucket/load/files'
  STORAGE_INTEGRATION = my_storage_int;

Copy

3단계: 자동 수집이 활성화된 파이프 만들기¶

CREATE PIPE 명령을 사용하여 파이프를 생성합니다. 파이프는 수집 큐에서 대상 테이블로 데이터를 로드하기 위해 Snowpipe에서 사용하는 COPY INTO <테이블> 문을 정의합니다. COPY 문에서 전제 조건: Amazon SNS 항목 및 구독 만들기 에서 SNS 항목 ARN을 식별합니다.

다음 예에서는 사용자 세션에 대한 활성 스키마에 이름이 mypipe 인 파이프를 생성합니다. 파이프는 mystage 스테이지에서 스테이징된 파일에서 mytable 테이블로 데이터를 로드합니다.

create pipe snowpipe_db.public.mypipe
  auto_ingest=true
  aws_sns_topic='<sns_topic_arn>'
  as
    copy into snowpipe_db.public.mytable
    from @snowpipe_db.public.mystage
  file_format = (type = 'JSON');

Copy

여기서

AUTO_INGEST = true

새 데이터를 로드할 준비가 되면 S3 버킷에서 SQS 큐로 전송한 이벤트 알림을 읽도록 지정합니다.

AWS_SNS_TOPIC = '<sns_항목_arn>'

S3 버킷의 SNS 항목에 대한 ARN을 지정하며, 예를 들어 현재 예에서의 arn:aws:sns:us-west-2:001234567890:s3_mybucket 입니다. CREATE PIPE 문은 Snowflake SQS 큐가 지정된 SNS 항목을 구독하도록 합니다. 파이프는 SNS 항목을 통한 이벤트 알림에 의해 트리거된 수집 큐에만 파일을 복사합니다.

현재는, 파이프에서 매개 변수 중 하나를 제거하려면 CREATE OR REPLACE PIPE 구문을 사용하여 파이프를 다시 생성해야 합니다.

4단계: 보안 구성¶

Snowpipe를 사용하여 연속 데이터 로드를 실행할 각 사용자에 대해 데이터 로드에 대한 오브젝트(즉, 대상 데이터베이스, 스키마 및 테이블, 스테이지 오브젝트 및 파이프)에 대한 충분한 액세스 제어 권한을 부여합니다.

Snowpipe를 사용하기 위해서는 다음 권한을 보유한 역할이 필요합니다.

GRANT <권한> 명령을 사용하여 역할에 권한을 부여합니다.

예를 들어, 이름이 snowpipe_role 인 파이프와 mypipe 데이터베이스 오브젝트 세트에 액세스할 수 있는 이름이 snowpipe_db.public 인 역할을 생성한 후 사용자에게 역할을 부여합니다.

-- Create a role to contain the Snowpipe privileges
use role securityadmin;

create or replace role snowpipe_role;

-- Grant the required privileges on the database objects
grant usage on database snowpipe_db to role snowpipe_role;

grant usage on schema snowpipe_db.public to role snowpipe_role;

grant insert, select on snowpipe_db.public.mytable to role snowpipe_role;

grant usage, read on stage snowpipe_db.public.mystage to role snowpipe_role;

-- Pause the pipe for OWNERSHIP transfer
alter pipe mypipe SET PIPE_EXECUTION_PAUSED = true;

-- Grant the OWNERSHIP privilege on the pipe object
grant ownership on pipe snowpipe_db.public.mypipe to role snowpipe_role;

-- Grant the role to a user
grant role snowpipe_role to user jsmith;

-- Set the role as the default role for the user
alter user jsmith set default_role = snowpipe_role;

-- Resume the pipe
alter pipe mypipe SET PIPE_EXECUTION_PAUSED = false;

Copy

이제 자동 수집 기능이 포함된 Snowpipe가 구성되었습니다!

새 데이터 파일이 S3 버킷에 추가되면 이벤트 알림은 Snowpipe에 파이프에 정의된 대상 테이블에 로드하도록 알립니다.

5단계: 과거 파일 로드¶

SQS 알림을 구성하기 전 외부 스테이지에 있던 데이터 파일의 백로그를 로드하려면 내역 데이터 로드하기 을 참조하십시오.

6단계: 스테이징된 파일 삭제¶

데이터를 로드하고 더 이상 파일이 필요하지 않으면 스테이징된 파일을 삭제합니다. 자세한 지침은 Snowpipe가 데이터를 로드한 후 스테이징된 파일 삭제하기 섹션을 참조하십시오.

1단계: Amazon SNS 항목 만들기¶

이 항목의 전제 조건: Amazon SNS 항목 및 구독 만들기 를 따릅니다.

2단계: S3 버킷을 구독하고 SNS 항목으로 알림을 보내는 EventBridge 규칙 만들기¶

• S3 버킷에 대해 Amazon EventBridge를 활성화합니다.

• EventBridge 규칙을 만들어 1단계에서 만든 SNS 항목으로 알림을 보냅니다.

3단계: SQS 알림을 사용하여 Snowpipe 자동화를 위한 Amazon SNS 구성하기¶

이 항목의 옵션 2: SQS 알림을 사용하여 Snowpipe 자동화를 위한 Amazon SNS 구성하기 섹션을 따릅니다.