Iceberg 테이블에 대한 외부 볼륨 구성하기¶

1단계: S3 버킷에 대한 액세스 허가 구성¶

2단계: AWS에 IAM 역할 만들기¶

AWS 관리 콘솔에서 AWS IAM 역할을 생성하여 데이터 파일이 포함된 S3 버킷에 대한 권한을 부여합니다.

1. AWS Management Console에 로그인합니다.

2. 홈 대시보드에서 Identity & Access Management (IAM)를 선택합니다.

   

3. 왼쪽 탐색 창에서 Roles 를 선택합니다.

4. Create role 을 선택합니다.

   

5. 신뢰할 수 있는 엔터티 유형에는 Another AWS account 를 선택합니다.

6. Account ID 필드에 본인의 AWS 계정 ID를 입력합니다. 이후 단계에서는 신뢰할 수 있는 관계를 수정하고 Snowflake에 대한 액세스 권한을 부여합니다.

7. Require external ID 옵션을 선택합니다. AWS 리소스(예: S3 버킷)에 대한 액세스 권한을 Snowflake와 같은 서드 파티에 부여하는 데 외부 ID가 사용됩니다.

   0000 과 같은 자리 표시자 ID를 입력합니다. 이후 단계에서는 IAM 역할의 신뢰 관계를 수정하고 외부 볼륨의 외부 ID를 지정합니다.

8. Next 를 선택합니다.

9. 1단계: S3 버킷에 대한 액세스 허가 구성 에서 생성한 정책을 찾아 이 정책을 선택합니다.

10. Next 를 선택합니다.

    

11. 역할의 이름과 설명을 입력하고 Create role 을 선택합니다. 이제 버킷에 대한 IAM 정책을 생성하고 IAM 역할을 생성하며 정책을 역할에 연결했습니다.

12. 역할 요약 페이지에서 Role ARN 값을 찾아서 기록합니다. 다음 단계에서 이 값을 사용하여 이 역할을 참조하는 Snowflake 외부 볼륨을 생성합니다.

    

3단계: SSE-KMS 암호화에 필요한 권한을 IAM 역할에 부여(선택 사항)¶

AWS KMS 키로 암호화된 오브젝트를 Amazon S3에 업로드하려면 2단계: AWS에 IAM 역할 만들기 에서 생성한 IAM 역할에 키에 대한 kms:GenerateDataKey 권한이 필요합니다. AWS KMS 키로 암호화된 오브젝트를 다운로드하려면 IAM 역할에 키에 대한 kms:Decrypt 권한이 필요합니다.

서버 측 암호화에 KMS 키를 사용하려면 다음 단계에 따라 키를 만들고 참조하십시오.

1. AWS Management Console에서 KMS 서비스로 이동합니다. 왼쪽 탐색에서 Customer managed keys 를 선택한 다음 Create key 를 선택합니다. 버킷과 동일한 리전에 키를 생성해야 합니다.

2. 대칭 키 유형을 만듭니다. 키 사용량은 Encrypt and decrypt 를 선택하십시오. Next 를 선택합니다.

3. Alias 상자에서 키 이름을 만들고 Next 를 선택합니다.

4. 필요한 경우 키의 관리자를 입력하고 Next 를 선택합니다.

5. Define key usage permissions 단계에서 IAM 역할의 이름을 입력합니다. 역할 옆에 있는 확인란을 선택한 다음 Next 를 선택합니다.

6. Finish 를 선택하여 키를 생성합니다.

7. 고객 관리 키 목록에서 키를 찾아 선택하고 해당 ARN을 기록합니다. 키의 ARN 예로는 arn:aws:kms:us-west-2:111111122222:key/1a1a11aa-aa1a-aaa1a-a1a1-000000000000 을 들 수 있습니다.

   외부 볼륨을 생성할 때 KMS_KEY_ID 값을 키의 ARN으로 설정하십시오.

4단계: Snowflake에서 외부 볼륨 만들기¶

CREATE EXTERNAL VOLUME 명령을 사용하여 외부 볼륨을 생성합니다.

다음 예에서는 암호화로 Amazon S3 저장소 위치를 정의하는 외부 볼륨을 생성합니다.

CREATE OR REPLACE EXTERNAL VOLUME exvol
   STORAGE_LOCATIONS =
      (
         (
            NAME = 'my-s3-us-west-2'
            STORAGE_PROVIDER = 'S3'
            STORAGE_BASE_URL = 's3://MY_EXAMPLE_BUCKET/'
            STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::123456789012:role/myrole'
            ENCRYPTION=(TYPE='AWS_SSE_KMS' KMS_KEY_ID='arn:aws:kms:us-west-2:111111122222:key/1a1a11aa-aa1a-aaa1a-a1a1-000000000000')
         )
      );

5단계: Snowflake 계정에 대한 AWS IAM 사용자 검색¶

1. Snowflake 계정에 대해 자동으로 생성된 AWS IAM 사용자의 ARN을 검색하려면 DESCRIBE EXTERNAL VOLUME 명령을 사용하십시오. 이전에 생성한 외부 볼륨의 이름을 지정합니다.

   예:

   DESC EXTERNAL VOLUME exvol;
   

   Copy

2. 다음 속성의 값을 기록합니다.

   속성	설명
   STORAGE_AWS_IAM_USER_ARN	Snowflake 계정용으로 생성된 AWS IAM 사용자입니다(예: arn:aws:iam::123456789001:user/abc1-b-self1234). Snowflake는 전체 Snowflake 계정에 대해 단일 IAM 사용자를 프로비저닝합니다. 계정의 모든 S3 외부 볼륨은 해당 IAM 사용자를 사용합니다.
   STORAGE_AWS_EXTERNAL_ID	Snowflake가 AWS와의 신뢰 관계를 설정하는 데 사용하는 외부 ID입니다. 외부 볼륨을 생성할 때 외부 ID(STORAGE_AWS_EXTERNAL_ID)를 지정하지 않은 경우 Snowflake는 사용할 수 있는 ID를 생성합니다.

   다음 단계에서 이러한 값을 입력합니다.

6단계: 버킷 오브젝트에 액세스할 수 있도록 IAM 사용자 권한 부여¶

이 단계에서는 Snowflake 계정의 IAM 사용자가 S3 버킷의 오브젝트에 액세스할 수 있도록 허용하는 권한을 구성합니다.

1. AWS Management Console에 로그인합니다.

2. Identity & Access Management (IAM)를 선택합니다.

   

3. 왼쪽 탐색 창에서 Roles 를 선택합니다.

4. 2단계: AWS에 IAM 역할 만들기 에서 생성한 역할을 선택합니다.

5. Trust relationships 탭을 선택합니다.

6. Edit trust relationship 을 선택합니다.

7. 5단계: Snowflake 계정에 대한 AWS IAM 사용자 검색 에 기록한 출력값으로 정책 문서를 수정합니다.

   IAM 역할에 대한 정책 문서

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "",
         "Effect": "Allow",
         "Principal": {
           "AWS": "<snowflake_user_arn>"
         },
         "Action": "sts:AssumeRole",
         "Condition": {
           "StringEquals": {
             "sts:ExternalId": "<snowflake_external_id>"
           }
         }
       }
     ]
   }
   

   Copy

   여기서

   • snowflake_user_arn 은 사용자가 기록한 STORAGE_AWS_IAM_USER_ARN 값입니다.

   • snowflake_external_id 는 사용자가 기록한 STORAGE_AWS_EXTERNAL_ID 값입니다.

   참고

   새 외부 볼륨을 생성하고(또는 CREATE OR REPLACE EXTERNAL VOLUME 구문을 사용하여 기존 외부 볼륨을 다시 생성하고) 자체 외부 ID를 제공하지 않는 경우 이 정책 문서를 업데이트해야 합니다. 보안상의 이유로, 새 외부 볼륨이나 다시 생성된 외부 볼륨에는 다른 외부 ID가 있으며 이 신뢰 정책을 업데이트하지 않으면 신뢰 관계를 확인할 수 없습니다.

8. Update Trust Policy 를 선택합니다. 변경 사항이 저장됩니다.

다음 단계¶

외부 볼륨을 구성하면 Iceberg 테이블을 생성할 수 있습니다.

• 카탈로그 통합을 사용하는 읽기 전용 Iceberg 테이블을 생성하려면 Iceberg 테이블의 카탈로그 통합 구성하기 섹션을 참조하십시오.

• Snowflake 플랫폼을 완벽하게 지원하는 Iceberg 테이블을 생성하려면 Snowflake를 카탈로그로 사용하여 Iceberg 테이블 만들기 섹션을 참조하십시오.

1단계: Snowflake에서 외부 볼륨 만들기¶

CREATE EXTERNAL VOLUME 명령을 사용하여 외부 볼륨을 생성합니다.

다음 예에서는 암호화로 GCS 저장소 위치를 정의하는 외부 볼륨을 생성합니다.

CREATE EXTERNAL VOLUME exvol
  STORAGE_LOCATIONS =
    (
      (
        NAME = 'my-us-east-1'
        STORAGE_PROVIDER = 'GCS'
        STORAGE_BASE_URL = 'gcs://mybucket1/path1/'
        ENCRYPTION=(TYPE='GCS_SSE_KMS' KMS_KEY_ID = '1234abcd-12ab-34cd-56ef-1234567890ab')
      )
    );

2단계: Snowflake 계정에 대한 Cloud Storage 서비스 계정 검색¶

Snowflake 계정에 대해 자동으로 생성된 Cloud Storage 서비스 계정에 대한 ID를 검색하려면 DESCRIBE EXTERNAL VOLUME 명령을 사용하십시오. 이전에 생성한 외부 볼륨의 이름을 지정합니다.

예:

DESC EXTERNAL VOLUME exvol;

Copy

출력에 STORAGE_GCP_SERVICE_ACCOUNT 속성 값을 기록합니다(예: service-account-id@project1-123456.iam.gserviceaccount.com).

Snowflake는 전체 Snowflake 계정에 대해 단일 Cloud Storage 서비스 계정을 프로비저닝합니다. 모든 Google Cloud Storage 외부 볼륨은 해당 서비스 계정을 사용합니다.

3단계: 서비스 계정에 버킷 오브젝트 액세스 권한 부여¶

이 단계에서는 Google Cloud Platform Console에서 Snowflake에 대한 IAM 액세스 권한을 구성합니다.

다음 단계¶

외부 볼륨을 구성하면 Iceberg 테이블을 생성할 수 있습니다.

• 카탈로그 통합을 사용하는 읽기 전용 Iceberg 테이블을 생성하려면 Iceberg 테이블의 카탈로그 통합 구성하기 섹션을 참조하십시오.

• Snowflake 플랫폼을 완벽하게 지원하는 Iceberg 테이블을 생성하려면 Snowflake를 카탈로그로 사용하여 Iceberg 테이블 만들기 섹션을 참조하십시오.

1단계: Snowflake에서 외부 볼륨 만들기¶

CREATE EXTERNAL VOLUME 명령을 사용하여 외부 볼륨을 생성합니다.

다음 예에서는 암호화로 Azure 저장소 위치를 정의하는 외부 볼륨을 생성합니다.

CREATE EXTERNAL VOLUME exvol
  STORAGE_LOCATIONS =
    (
      (
        NAME = 'my-azure-northeurope'
        STORAGE_PROVIDER = 'AZURE'
        STORAGE_BASE_URL = 'azure://exampleacct.blob.core.windows.net/my_container_northeurope/'
        AZURE_TENANT_ID = 'a123b4c5-1234-123a-a12b-1a23b45678c9'
      )
    );

2단계: 저장소 위치에 Snowflake 액세스 권한 부여¶

1. Microsoft 권한 요청 페이지의 URL을 검색하려면 DESCRIBE EXTERNAL VOLUME 명령을 사용하십시오. 이전에 생성한 외부 볼륨의 이름을 지정합니다.

   DESC EXTERNAL VOLUME exvol;
   

   Copy

   다음 속성의 값을 기록합니다.

   속성	설명
   AZURE_CONSENT_URL	Microsoft 권한 요청 페이지에 대한 URL입니다.
   AZURE_MULTI_TENANT_APP_NAME	계정에 대해 생성된 Snowflake 클라이언트 애플리케이션의 이름입니다. 이 섹션의 이후 단계에서는 허용되는 저장소 위치에 대한 액세스 토큰을 획득하기 위한 권한을 이 애플리케이션에 부여해야 합니다.

   다음 단계에서 이러한 값을 사용합니다.

2. 웹 브라우저에서 Microsoft 권한 요청 페이지(AZURE_CONSENT_URL)로 이동합니다.

3. Accept 를 선택합니다. 이 작업을 통해 Snowflake 계정에 대해 생성된 Azure 서비스 주체에게 tenant 내부의 모든 리소스에 대한 액세스 토큰이 부여됩니다. 액세스 토큰은 서비스 주체에 컨테이너에 대한 적절한 권한을 부여한 경우에만 획득이 가능합니다(다음 단계 참조).

   Microsoft 권한 요청 페이지가 Snowflake 회사 사이트(snowflake.com)로 리디렉션됩니다.

4. Microsoft Azure 포털에 로그인합니다.

5. Azure Services » Storage Accounts 로 이동합니다. Snowflake 서비스 주체에 액세스 권한을 부여하려는 저장소 계정의 이름을 선택합니다.

   참고

   컨테이너 수준이 아닌 저장소 계정 수준에서 외부 볼륨에 대한 IAM 권한을 설정해야 합니다.

6. Access Control (IAM) » Add role assignment 를 선택합니다.

7. Storage Blob Data Contributor 역할을 선택하여 Snowflake 서비스 주체에 읽기 및 쓰기 액세스 권한을 부여합니다.

   참고

   Storage Blob Data Contributor 역할은 외부 볼륨 위치에 대한 쓰기 액세스 권한을 부여합니다. 쓰기 액세스 권한을 완전히 구성하려면 외부 볼륨의 ALLOW_WRITES 매개 변수를 TRUE (기본값)로 설정해야 합니다.

8. Snowflake 서비스 포털 주체를 검색합니다. DESC EXTERNAL VOLUME 출력(1단계)에서 AZURE_MULTI_TENANT_APP_NAME 속성의 ID입니다. AZURE_MULTI_TENANT_APP_NAME 속성에서 밑줄 앞의 문자열을 검색합니다.

   중요

   • Azure에서 이 섹션의 Microsoft 요청 페이지를 통해 요청한 Snowflake 서비스 주체를 생성하기 위해서는 1시간이 이상 걸릴 수 있습니다. 서비스 주체를 즉시 사용할 수 없는 경우 1~2시간 기다린 후 다시 검색하십시오.

   • 서비스 주체를 삭제하면 외부 볼륨이 작동을 중지합니다.

   

9. Review + assign 을 선택합니다.

   참고

   역할을 할당하면 변경 사항이 적용되는 데 최대 10분이 걸릴 수 있습니다. 자세한 내용은 Microsoft Azure 설명서의 증상 - 역할 할당 변경 사항이 감지되지 않음 을 참조하십시오.

다음 단계¶

외부 볼륨을 구성하면 Iceberg 테이블을 생성할 수 있습니다.

• 카탈로그 통합을 사용하는 읽기 전용 Iceberg 테이블을 생성하려면 Iceberg 테이블의 카탈로그 통합 구성하기 섹션을 참조하십시오.

• Snowflake 플랫폼을 완벽하게 지원하는 Iceberg 테이블을 생성하려면 Snowflake를 카탈로그로 사용하여 Iceberg 테이블 만들기 섹션을 참조하십시오.

예¶

다음 문은 my_database_1 이라는 데이터베이스의 외부 볼륨(my_s3_vol)을 설정합니다.

ALTER DATABASE my_database_1
  SET EXTERNAL_VOLUME = 'my_s3_vol';

데이터베이스 수준에서 외부 볼륨을 설정한 후 외부 볼륨을 지정하지 않고도 해당 데이터베이스에 Iceberg 테이블을 생성할 수 있습니다. 다음 문은 Snowflake를 카탈로그로 사용하고 데이터베이스에 설정된 기본 외부 볼륨(my_s3_vol)을 사용하는 Iceberg 테이블을 my_database_1 에 생성합니다.

CREATE ICEBERG TABLE iceberg_reviews_table (
  id STRING,
  product_name STRING,
  product_id STRING,
  reviewer_name STRING,
  review_date DATE,
  review STRING
)
CATALOG = 'SNOWFLAKE'
BASE_LOCATION = 'my/product_reviews/';