Amazon S3에 대해 자동으로 디렉터리 테이블 새로 고치기¶

1단계: S3 버킷에 대한 액세스 허가 구성¶

2단계: AWS에서 IAM 역할 만들기¶

AWS Management Console에서 Snowflake에 대한 액세스 권한을 구성하려면 다음을 수행하십시오.

1. AWS Management Console에 로그인합니다.

2. 홈 대시보드에서 Identity & Access Management (IAM)를 선택합니다.

   

3. 왼쪽 탐색 창에서 Roles 를 선택합니다.

4. Create role 를 선택합니다.

   

5. Another AWS account 을 신뢰할 수 있는 엔터티 타입으로 선택합니다.

6. Account ID 필드에 본인의 AWS 계정 ID를 임시로 입력합니다. 이후에 신뢰 관계를 수정하고 Snowflake에 대한 액세스 권한을 부여합니다.

7. Require external ID 옵션을 선택합니다. AWS 리소스(예: S3 버킷)에 대한 액세스 권한을 Snowflake와 같은 서드 파티에 부여하는 데 외부 ID가 사용됩니다.

   0000 과 같은 자리 표시자 ID를 입력합니다. 이후 단계에서는 IAM 역할에 대한 신뢰 관계를 수정하고 저장소 통합을 위한 외부 ID를 지정합니다.

8. Next 를 선택합니다.

9. 이 항목의 1단계: S3 버킷에 대한 액세스 허가 구성 에서 생성한 정책을 선택합니다.

10. Next 를 선택합니다.

    

11. 역할의 이름과 설명을 입력한 다음 Create role 을 선택합니다.

    이제 버킷에 대한 IAM 정책을 생성하고 IAM 역할을 생성하며 정책을 역할에 연결했습니다.

12. 역할 요약 페이지에서 Role ARN 값을 찾아서 기록합니다. 다음 단계에서는 이 역할을 참조하는 Snowflake 통합을 생성합니다.

    

3단계: Snowflake에서 클라우드 저장소 통합 만들기¶

CREATE STORAGE INTEGRATION 명령을 사용하여 저장소 통합을 생성합니다. 저장소 통합은 S3 클라우드 저장소에 대해 생성된 ID 및 액세스 관리(IAM) 사용자를 허용하거나 차단된 저장소 위치(즉, 버킷)의 선택적 세트과 함께 저장하는 Snowflake 오브젝트입니다. 저장소 위치에 대한 권한은 조직의 클라우드 공급자 관리자가 생성된 사용자에게 부여합니다. 이 옵션을 사용하면 사용자가 스테이지를 생성하거나 데이터를 로드할 때 자격 증명을 제공하지 않아도 됩니다.

단일 저장소 통합은 여러 외부(즉, S3) 스테이지를 지원할 수 있습니다. 스테이지 정의의 URL은 STORAGE_ALLOWED_LOCATIONS 매개 변수에 대해 지정된 S3 버킷(및 선택적 경로)와 일치해야 합니다.

CREATE STORAGE INTEGRATION <integration_name>
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = '<iam_role>'
  STORAGE_ALLOWED_LOCATIONS = ('s3://<bucket>/<path>/', 's3://<bucket>/<path>/')
  [ STORAGE_BLOCKED_LOCATIONS = ('s3://<bucket>/<path>/', 's3://<bucket>/<path>/') ]

여기서

• integration_name 은 새 통합의 이름입니다.

• iam_role 은 이 항목의 2단계: AWS에서 IAM 역할 만들기 에서 생성한 역할의 Amazon 리소스 이름(ARN)입니다.

• bucket 은 데이터 파일을 저장하는 S3 버킷의 이름입니다(예: mybucket). 필수 STORAGE_ALLOWED_LOCATIONS 매개 변수와 선택적 STORAGE_BLOCKED_LOCATIONS 매개 변수는 이 통합을 참조하는 스테이지가 생성되거나 수정될 때 이러한 버킷에 대한 액세스를 각각 제한하거나 차단합니다.

• path 는 버킷의 오브젝트를 세부적으로 제어하기 위해 사용할 수 있는 선택적 경로입니다.

다음 예시에서는 계정의 모든 버킷에 대한 액세스를 허용하지만 정의된 sensitivedata 폴더에 대한 액세스를 차단하는 통합을 생성합니다.

이 통합도 사용하는 추가 외부 스테이지는 허용되는 버킷과 경로를 참조할 수 있습니다.

CREATE STORAGE INTEGRATION s3_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::001234567890:role/myrole'
  STORAGE_ALLOWED_LOCATIONS = ('*')
  STORAGE_BLOCKED_LOCATIONS = ('s3://mybucket1/mypath1/sensitivedata/', 's3://mybucket2/mypath2/sensitivedata/');

Copy

4단계: Snowflake 계정에 대한 AWS IAM 사용자 검색¶

1. Snowflake 계정에 대해 자동으로 생성된 IAM 사용자의 ARN을 검색하려면 DESCRIBE INTEGRATION 을 사용하십시오.

   DESC INTEGRATION <integration_name>;
   

   Copy

   여기서

   • integration_name 은 이 항목의 3단계: Snowflake에서 클라우드 저장소 통합 만들기 에서 생성한 통합의 이름입니다.

   예:

   DESC INTEGRATION s3_int;
   
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------+
   | property                  | property_type | property_value                                                                 | property_default |
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------|
   | ENABLED                   | Boolean       | true                                                                           | false            |
   | STORAGE_ALLOWED_LOCATIONS | List          | s3://mybucket1/mypath1/,s3://mybucket2/mypath2/                                | []               |
   | STORAGE_BLOCKED_LOCATIONS | List          | s3://mybucket1/mypath1/sensitivedata/,s3://mybucket2/mypath2/sensitivedata/    | []               |
   | STORAGE_AWS_IAM_USER_ARN  | String        | arn:aws:iam::123456789001:user/abc1-b-self1234                                 |                  |
   | STORAGE_AWS_ROLE_ARN      | String        | arn:aws:iam::001234567890:role/myrole                                          |                  |
   | STORAGE_AWS_EXTERNAL_ID   | String        | MYACCOUNT_SFCRole=2_a123456/s0aBCDEfGHIJklmNoPq=                               |                  |
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------+
   

   Copy

2. 다음 속성의 값을 기록합니다.

   속성	설명
   STORAGE_AWS_IAM_USER_ARN	Snowflake 계정용으로 생성된 AWS IAM 사용자입니다(예: arn:aws:iam::123456789001:user/abc1-b-self1234). Snowflake는 전체 Snowflake 계정에 대해 단일 IAM 사용자를 프로비저닝합니다. 계정의 모든 S3 저장소 통합은 해당 IAM 사용자를 사용합니다.
   STORAGE_AWS_EXTERNAL_ID	Snowflake가 AWS와의 신뢰 관계를 설정하는 데 사용하는 외부 ID입니다. 저장소 통합을 생성할 때 외부 ID(STORAGE_AWS_EXTERNAL_ID)를 지정하지 않은 경우 Snowflake는 사용할 수 있는 ID를 생성합니다.

   다음 섹션에서 이러한 값을 입력합니다.

5단계: 버킷 오브젝트에 액세스할 수 있도록 IAM 사용자 권한 부여¶

다음 단계별 지침에서는 S3 버킷을 사용하여 데이터를 로드 및 언로드할 수 있도록 AWS 관리 콘솔에서 Snowflake에 대한 IAM 액세스 허가를 구성하는 방법을 설명합니다.

1. AWS Management Console에 로그인합니다.

2. Identity & Access Management (IAM)를 선택합니다.

   

3. 왼쪽 탐색 창에서 Roles 를 선택합니다.

4. 이 항목의 2단계: AWS에서 IAM 역할 만들기 에서 생성한 역할을 선택합니다.

5. Trust relationships 탭을 선택합니다.

6. Edit trust relationship 를 선택합니다.

7. 이 항목의 4단계: Snowflake 계정에 대한 AWS IAM 사용자 검색 에서 기록한 DESC STORAGE INTEGRATION 출력 값으로 정책 문서를 수정합니다.

   IAM 역할에 대한 정책 문서

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "",
         "Effect": "Allow",
         "Principal": {
           "AWS": "<snowflake_user_arn>"
         },
         "Action": "sts:AssumeRole",
         "Condition": {
           "StringEquals": {
             "sts:ExternalId": "<snowflake_external_id>"
           }
         }
       }
     ]
   }
   

   Copy

   여기서

   • snowflake_user_arn 은 사용자가 기록한 STORAGE_AWS_IAM_USER_ARN 값입니다.

   • snowflake_external_id 는 사용자가 기록한 STORAGE_AWS_EXTERNAL_ID 값입니다.

     이 예에서 snowflake_external_id 값은 MYACCOUNT_SFCRole=2_a123456/s0aBCDEfGHIJklmNoPq= 입니다.

     참고

     보안상의 이유로, 외부 ID를 지정하지 않고 새 저장소 통합을 생성하면(또는 CREATE OR REPLACE STORAGE INTEGRATION 구문을 사용하여 기존 저장소 통합을 다시 생성하면) 새 통합의 외부 ID가 다르므로 신뢰 정책을 업데이트하지 않으면 신뢰 관계를 확인할 수 없습니다.

8. Update Trust Policy 버튼을 선택합니다. 변경 사항이 저장됩니다.

1단계: 포함된 디렉터리 테이블로 스테이지 만들기¶

CREATE STAGE 명령을 사용하여 S3 버킷을 참조하는 외부 스테이지를 생성합니다. Snowflake는 스테이징된 데이터 파일을 디렉터리 테이블 메타데이터로 읽습니다. 아니면 기존 외부 스테이지를 사용할 수 있습니다.

-- External stage
CREATE [ OR REPLACE ] [ TEMPORARY ] STAGE [ IF NOT EXISTS ] <external_stage_name>
      <cloud_storage_access_settings>
    [ FILE_FORMAT = ( { FORMAT_NAME = '<file_format_name>' | TYPE = { CSV | JSON | AVRO | ORC | PARQUET | XML } [ formatTypeOptions ] } ) ]
    [ directoryTable ]
    [ COPY_OPTIONS = ( copyOptions ) ]
    [ COMMENT = '<string_literal>' ]

여기서

directoryTable (for Amazon S3) ::=
  [ DIRECTORY = ( ENABLE = { TRUE | FALSE }
                  [ AUTO_REFRESH = { TRUE | FALSE } ] ) ]

Copy

CREATE STAGE mystage
  URL='s3://load/files/'
  STORAGE_INTEGRATION = my_storage_int
  DIRECTORY = (
    ENABLE = true
    AUTO_REFRESH = true
  );

2단계: 이벤트 알림 구성¶

새 데이터 또는 업데이트된 데이터를 디렉터리 테이블 메타데이터로 읽을 수 있는 경우 Snowflake에 알리도록 S3 버킷에 대한 이벤트 알림을 구성합니다. 자동 새로 고침 기능은 SQS 큐를 사용하여 S3에서 Snowflake로 이벤트 알림을 전달합니다.

편리하게 사용할 수 있도록, Snowflake가 이러한 SQS 큐를 생성 및 관리합니다. DESCRIBE STAGE 명령의 출력은 SQS 큐의 Amazon 리소스 이름(ARN)을 표시합니다.

1. DESCRIBE STAGE 명령을 실행합니다.

   DESC STAGE <stage_name>;
   

   Copy

   예:

   DESC STAGE mystage;
   

   Copy

   directory_notification_channel 필드의 디렉터리 테이블에 대한 SQS 큐의 ARN에 유의하십시오. 원하는 위치에 ARN을 복사합니다.

   참고

   AWS 지침에 따라 Snowflake는 S3 버킷당 SQS 큐를 1개만 지정합니다. 이 SQS 큐는 동일한 AWS 계정의 여러 버킷 사이에서 공유할 수 있습니다. SQS 큐는 동일한 S3 버킷에서 데이터 파일을 읽는 모든 디렉터리 테이블에 대한 알림을 조정합니다. 새 데이터 파일이나 수정된 데이터 파일이 버킷에 업로드되면 스테이지 디렉터리 경로와 일치하는 모든 디렉터리 테이블 정의가 파일 세부 정보를 메타데이터로 읽어옵니다.

2. AWS 관리 콘솔에 로그인합니다.

3. Amazon S3 설명서 에서 제공되는 지침을 사용하여 S3 버킷에 대한 이벤트 알림을 구성합니다. 다음과 같이 필드를 입력합니다.

   • Name: 이벤트 알림의 이름(예: Auto-ingest Snowflake)입니다.

   • Events: ObjectCreate (All) 및 ObjectRemoved 옵션을 선택합니다.

   • Send to: 드롭다운 목록에서 SQS Queue 를 선택합니다.

   • SQS: 드롭다운 목록에서 Add SQS queue ARN 를 선택합니다.

   • SQS queue ARN: DESC STAGE 출력에서 SQS 큐의 이름을 붙여넣습니다.

이제 자동 새로 고침이 포함된 외부 스테이지가 구성되었습니다!

새 데이터 파일 또는 업데이트된 데이터 파일이 S3 버킷에 추가되면 이벤트 알림은 Snowflake에 이를 디렉터리 테이블 메타데이터로 스캔하도록 알립니다.

3단계: 디렉터리 테이블 메타데이터를 수동으로 새로 고치기¶

ALTER STAGE 명령을 사용하여 디렉터리 테이블의 메타데이터를 수동으로 새로 고칩니다.

ALTER STAGE [ IF EXISTS ] <name> REFRESH [ SUBPATH = '<relative-path>' ]

여기서

REFRESH

디렉터리 테이블 정의에서 참조하는 스테이지 상태 데이터 파일에 액세스하고 테이블 메타데이터를 업데이트합니다.

• 경로의 새 파일이 테이블 메타데이터에 추가됩니다.

• 경로의 파일에 대한 변경 사항은 테이블 메타데이터에서 업데이트됩니다.

• 경로에 더 이상 없는 파일은 테이블 메타데이터에서 제거됩니다.

현재는 파일이 스테이지에 추가되거나 업데이트되거나 삭제될 때마다 이 명령을 실행해야 합니다. 이 단계에서는 디렉터리 테이블에 대한 스테이지 정의에서 최신 관련 파일 세트와 메타데이터를 동기화합니다.

SUBPATH = '<relative-path>'

선택적으로, 데이터 파일의 특정 서브세트에 대한 메타데이터를 새로 고칠 상대 경로를 지정합니다.

예를 들어, 다음과 같이 mystage 로 명명된 스테이지에서 디렉터리 테이블 메타데이터를 수동으로 새로 고칩니다.

ALTER STAGE mystage REFRESH;

4단계: 보안 구성¶

디렉터리 테이블을 쿼리하는 데 사용할 각 추가 역할에 대해 GRANT <권한> 를 사용하여 다양한 오브젝트(즉, 데이터베이스, 스키마, 스테이지 및 테이블)에 대한 충분한 액세스 제어 권한을 부여합니다.

전제 조건: Amazon SNS 항목 및 구독 만들기¶

1. AWS 계정에 SNS 항목을 생성하여 S3 버킷의 Snowflake 스테이지 위치에 대한 모든 메시지를 처리합니다.

2. S3 이벤트 알림(예: 다른 SQS 큐 또는 AWS Lambda 워크로드)에 대한 대상 오브젝트를 이 항목에 구독합니다. SNS 항목의 모든 구독자에게 버킷에 대한 이벤트 알림을 게시합니다.

자세한 지침은 SNS 설명서 를 참조하십시오.

1단계: Snowflake SQS 큐를 SNS 항목에 구독¶

1. AWS 관리 콘솔에 로그인합니다.

2. 홈 대시보드에서 Simple Notification Service (SNS)를 선택합니다.

3. 왼쪽 탐색 창에서 Topics 을 선택합니다.

4. S3 버킷에 대한 항목을 찾습니다. ARN 항목을 기록합니다.

5. Snowflake 클라이언트를 사용하여 SNS 항목 ARN을 사용하여 SYSTEM$GET_AWS_SNS_IAM_POLICY 시스템 함수를 쿼리합니다.

   select system$get_aws_sns_iam_policy('<sns_topic_arn>');
   

   Copy

   이 함수는 Snowflake SNS 항목을 구독할 수 있는 권한을 SQS 큐에 부여하는 IAM 정책을 반환합니다.

   예:

   select system$get_aws_sns_iam_policy('arn:aws:sns:us-west-2:001234567890:s3_mybucket');
   
   +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   | SYSTEM$GET_AWS_SNS_IAM_POLICY('ARN:AWS:SNS:US-WEST-2:001234567890:S3_MYBUCKET')                                                                                                                                                                   |
   +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   | {"Version":"2012-10-17","Statement":[{"Sid":"1","Effect":"Allow","Principal":{"AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234"},"Action":["sns:Subscribe"],"Resource":["arn:aws:sns:us-west-2:001234567890:s3_mybucket"]}]}                 |
   +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   

   Copy

6. AWS 관리 콘솔로 돌아갑니다. 왼쪽 탐색 창에서 Topics 을 선택합니다.

7. S3 버킷에 대한 항목을 선택하고 Edit 버튼을 클릭합니다. Edit 페이지가 열립니다.

8. Access policy - Optional 을 클릭하여 페이지의 이 영역을 확장합니다.

9. SYSTEM$GET_AWS_SNS_IAM_POLICY 함수에서 IAM 정책 추가를 병합하면 JSON 문서가 생성됩니다.

   예:

   원본 IAM 정책(축약형):

   {
     "Version":"2008-10-17",
     "Id":"__default_policy_ID",
     "Statement":[
        {
           "Sid":"__default_statement_ID",
           "Effect":"Allow",
           "Principal":{
              "AWS":"*"
           }
           ..
        }
      ]
    }
   

   Copy

   병합된 IAM 정책:

   {
     "Version":"2008-10-17",
     "Id":"__default_policy_ID",
     "Statement":[
        {
           "Sid":"__default_statement_ID",
           "Effect":"Allow",
           "Principal":{
              "AWS":"*"
           }
           ..
        },
        {
           "Sid":"1",
           "Effect":"Allow",
           "Principal":{
             "AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234"
            },
            "Action":[
              "sns:Subscribe"
            ],
            "Resource":[
              "arn:aws:sns:us-west-2:001234567890:s3_mybucket"
            ]
        }
      ]
    }
   

   Copy

10. S3가 버킷에 대한 이벤트 알림을 SNS 항목에 게시할 수 있도록 추가 정책 권한 부여를 추가합니다.

    예를 들어(이 지침 전체에서 사용되는 SNS 항목 ARN 및 S3 버킷 사용),

    {
        "Sid":"s3-event-notifier",
        "Effect":"Allow",
        "Principal":{
           "Service":"s3.amazonaws.com"
        },
        "Action":"SNS:Publish",
        "Resource":"arn:aws:sns:us-west-2:001234567890:s3_mybucket",
        "Condition":{
           "ArnLike":{
              "aws:SourceArn":"arn:aws:s3:*:*:s3_mybucket"
           }
        }
     }
    

    Copy

    병합된 IAM 정책:

    {
      "Version":"2008-10-17",
      "Id":"__default_policy_ID",
      "Statement":[
         {
            "Sid":"__default_statement_ID",
            "Effect":"Allow",
            "Principal":{
               "AWS":"*"
            }
            ..
         },
         {
            "Sid":"1",
            "Effect":"Allow",
            "Principal":{
              "AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234"
             },
             "Action":[
               "sns:Subscribe"
             ],
             "Resource":[
               "arn:aws:sns:us-west-2:001234567890:s3_mybucket"
             ]
         },
         {
            "Sid":"s3-event-notifier",
            "Effect":"Allow",
            "Principal":{
               "Service":"s3.amazonaws.com"
            },
            "Action":"SNS:Publish",
            "Resource":"arn:aws:sns:us-west-2:001234567890:s3_mybucket",
            "Condition":{
               "ArnLike":{
                  "aws:SourceArn":"arn:aws:s3:*:*:s3_mybucket"
               }
            }
          }
       ]
     }
    

    Copy

11. Save changes 버튼을 클릭합니다.

2단계: 포함된 디렉터리 테이블로 스테이지 만들기¶

CREATE STAGE 명령을 사용하여 S3 버킷을 참조하는 외부 스테이지를 생성합니다. Snowflake는 스테이징된 데이터 파일을 디렉터리 테이블 메타데이터로 읽습니다. 아니면 기존 외부 스테이지를 사용할 수 있습니다.

-- External stage
CREATE [ OR REPLACE ] [ TEMPORARY ] STAGE [ IF NOT EXISTS ] <external_stage_name>
      <cloud_storage_access_settings>
    [ FILE_FORMAT = ( { FORMAT_NAME = '<file_format_name>' | TYPE = { CSV | JSON | AVRO | ORC | PARQUET | XML } [ formatTypeOptions ] } ) ]
    [ directoryTable ]
    [ COPY_OPTIONS = ( copyOptions ) ]
    [ COMMENT = '<string_literal>' ]

여기서

directoryTable (for Amazon S3) ::=
  [ DIRECTORY = ( ENABLE = { TRUE | FALSE }
                  [ AUTO_REFRESH = { TRUE | FALSE } ]
                  [ AWS_SNS_TOPIC = '<sns_topic_arn>' ] ) ]

Copy

CREATE STAGE mystage
  URL='s3://load/files/'
  STORAGE_INTEGRATION = my_storage_int
  DIRECTORY = (
    ENABLE = true
    AUTO_REFRESH = true
    AWS_SNS_TOPIC = 'arn:aws:sns:us-west-2:001234567890:s3_mybucket'
  );

3단계: 디렉터리 테이블 메타데이터를 수동으로 새로 고치기¶

ALTER STAGE 명령을 사용하여 디렉터리 테이블의 메타데이터를 수동으로 새로 고칩니다.

ALTER STAGE [ IF EXISTS ] <name> REFRESH [ SUBPATH = '<relative-path>' ]

여기서

REFRESH

디렉터리 테이블 정의에서 참조하는 스테이지 상태 데이터 파일에 액세스하고 테이블 메타데이터를 업데이트합니다.

• 경로의 새 파일이 테이블 메타데이터에 추가됩니다.

• 경로의 파일에 대한 변경 사항은 테이블 메타데이터에서 업데이트됩니다.

• 경로에 더 이상 없는 파일은 테이블 메타데이터에서 제거됩니다.

현재는 파일이 스테이지에 추가되거나 업데이트되거나 삭제될 때마다 이 명령을 실행해야 합니다. 이 단계에서는 디렉터리 테이블에 대한 스테이지 정의에서 최신 관련 파일 세트와 메타데이터를 동기화합니다.

SUBPATH = '<relative-path>'

선택적으로, 데이터 파일의 특정 서브세트에 대한 메타데이터를 새로 고칠 상대 경로를 지정합니다.

예를 들어, 다음과 같이 mystage 로 명명된 스테이지에서 디렉터리 테이블 메타데이터를 수동으로 새로 고칩니다.

ALTER STAGE mystage REFRESH;

4단계: 보안 구성¶

디렉터리 테이블을 쿼리하는 데 사용할 각 추가 역할에 대해 GRANT <권한> 를 사용하여 다양한 오브젝트(즉, 데이터베이스, 스키마, 스테이지 및 테이블)에 대한 충분한 액세스 제어 권한을 부여합니다.