자습서: 첫 번째 Apache Iceberg™ 테이블 만들기¶

알아볼 내용¶

이 자습서에서는 다음을 수행하는 방법에 대해 알아봅니다.

• Snowflake가 관리하는 Iceberg 테이블을 위한 외부 볼륨 을 만들고 구성합니다. 이 자습서에서는 데모 목적으로 Amazon S3에 대한 외부 볼륨을 생성합니다.

• Snowflake를 Iceberg 카탈로그로 사용하는 2개의 Iceberg 테이블(Snowflake 관리 테이블)을 생성합니다.

• Iceberg 테이블에 데이터를 삽입합니다.

• Iceberg 테이블을 쿼리합니다.

• Iceberg 테이블에서 행을 삭제합니다.

전제 조건¶

시작하기 전에 다음 사항을 숙지해야 합니다.

• Snowflake 오브젝트 식별자 및 요구 사항.

• Snowflake의 Apache Iceberg와 Iceberg 테이블. 자세한 내용은 Apache Iceberg™ 테이블 섹션을 참조하십시오.

• 클라우드 오브젝트 저장소.

• S3를 사용하는 경우, AWS ID 및 액세스 관리(IAM) 및 IAM 정책 요소 를 잘 알고 있어야 합니다.

다음이 필요합니다.

• 다음 작업을 수행할 수 있는 권한이 있는 역할이 있는 Snowflake 사용자:

  • CREATE WAREHOUSE

  • CREATE DATABASE

  • CREATE EXTERNAL VOLUME

  • CREATE ICEBERG TABLE

  30일 평가판 계정을 사용 중인 경우 해당 계정에 대해 생성된 사용자로 로그인할 수 있습니다. 이 사용자는 오브젝트 생성에 필요한 권한이 있는 역할을 가집니다.

  필요한 권한이 있는 사용자가 없는 경우, 권한이 있는 사용자에게 해당 사용자를 생성해 달라고 요청합니다. ACCOUNTADMIN 역할이 있는 사용자는 새 사용자를 생성하고 필요한 권한을 부여할 수 있습니다.

• 외부 볼륨을 구성하려면 클라우드 저장소 공급자에 대한 관리자 액세스 권한이 필요합니다.

• 사용자의 Snowflake 계정을 호스팅하는 동일한 리전에 위치한 동일한 클라우드 공급자의 저장소 버킷(또는 컨테이너)입니다.

• 계정의 SNOWFLAKE_SAMPLE_DATA 데이터베이스에 액세스합니다. Snowflake는 기본적으로 새 계정에 샘플 데이터베이스를 만듭니다. 귀하의 계정에 데이터베이스가 생성되지 않은 경우 샘플 데이터베이스 사용하기 섹션을 참조하십시오.

S3 위치에 대한 액세스 권한을 부여하는 IAM 정책 만들기¶

AWS Management Console에서 Snowflake에 대한 액세스 권한을 구성하려면 다음을 수행하십시오.

1. AWS Management Console에 로그인합니다.

2. 홈 대시보드에서 IAM 을 검색하여 선택합니다.

3. 왼쪽 탐색 창에서 Account settings 를 선택합니다.

4. Endpoints 목록의 Security Token Service (STS) 에서 사용자의 계정이 위치한 Snowflake 리전 을 찾습니다. STS status 가 비활성 상태인 경우 토글을 Active 로 이동합니다.

5. 왼쪽 탐색 창에서 Policies 를 선택합니다.

6. Create Policy 를 선택합니다.

   

7. Policy editor 에서 JSON 을 선택합니다.

8. Snowflake에 S3 위치에서 데이터를 읽고 쓸 수 있는 필요한 권한을 제공하는 정책을 추가합니다.

   다음 예제 정책은 지정된 버킷의 모든 위치에 대한 액세스 권한을 부여합니다.

   참고

   • my_bucket 을 실제 버킷 이름으로 바꿉니다. 버킷에 경로를 지정할 수도 있습니다(예: my_bucket/path).

   • "s3:prefix": 조건을 ["*"] 로 설정하면 지정된 버킷의 모든 접두사에 대한 액세스 권한이 부여되고, ["path/*"] 로 설정하면 버킷의 지정된 경로에 대한 액세스 권한이 부여됩니다.

   • 정부 리전 에 있는 버킷의 경우, 버킷 ARNs은 arn:aws-us-gov:s3::: 접두사를 사용합니다.

   {
      "Version": "2012-10-17",
      "Statement": [
            {
               "Effect": "Allow",
               "Action": [
                  "s3:PutObject",
                  "s3:GetObject",
                  "s3:GetObjectVersion",
                  "s3:DeleteObject",
                  "s3:DeleteObjectVersion"
               ],
               "Resource": "arn:aws:s3:::<my_bucket>/*"
            },
            {
               "Effect": "Allow",
               "Action": [
                  "s3:ListBucket",
                  "s3:GetBucketLocation"
               ],
               "Resource": "arn:aws:s3:::<my_bucket>",
               "Condition": {
                  "StringLike": {
                        "s3:prefix": [
                           "*"
                        ]
                  }
               }
            }
      ]
   }
   

   Copy

9. Next 를 선택합니다.

10. Policy name (예: snowflake_access)과 선택 사항인 Description 을 입력합니다.

11. Create policy 를 선택합니다.

IAM 역할 만들기¶

데이터 파일이 포함된 S3 버킷에 대한 권한을 부여하는 AWS IAM 역할을 생성합니다.

1. ID 및 액세스 관리(IAM) 대시보드의 왼쪽 탐색 창에서 Roles 를 선택합니다.

2. Create role 을 선택합니다.

3. 신뢰할 수 있는 엔터티 유형에는 AWS account 를 선택합니다.

4. An AWS account 에서 This account 를 선택합니다. 이후 단계에서는 신뢰 관계를 수정하고 Snowflake에 대한 액세스 권한을 부여합니다.

5. Require external ID 옵션을 선택합니다. 선택한 외부 ID 를 입력합니다. 예: iceberg_table_external_id.

   AWS 리소스(예: S3 버킷)에 대한 액세스 권한을 Snowflake와 같은 서드 파티에 부여하는 데 외부 ID가 사용됩니다.

   

6. Next 를 선택합니다.

7. 외부 볼륨에 대해 생성한 정책을 선택한 다음 Next 를 선택합니다.

8. 역할의 Role name 및 설명을 입력한 다음 Create role 을 선택합니다.

   S3 위치에 대한 IAM 정책을 생성하고 IAM 역할을 생성하며 정책을 역할에 연결했습니다.

9. View role 을 선택하여 역할 요약 페이지를 확인합니다. 역할의 ARN (Amazon 리소스 이름) 값을 찾아서 기록합니다.

   

Snowflake에서 외부 볼륨 만들기¶

CREATE EXTERNAL VOLUME 명령을 사용하여 외부 볼륨을 생성합니다. 다음 예제에서는 암호화가 적용된 단일 Amazon S3 저장소 위치를 정의하는 이름이 iceberg_external_volume 인 외부 볼륨을 생성합니다.

CREATE OR REPLACE EXTERNAL VOLUME iceberg_external_volume
   STORAGE_LOCATIONS =
      (
         (
            NAME = 'my-s3-us-west-2'
            STORAGE_PROVIDER = 'S3'
            STORAGE_BASE_URL = 's3://<my_bucket>/'
            STORAGE_AWS_ROLE_ARN = '<arn:aws:iam::123456789012:role/myrole>'
            STORAGE_AWS_EXTERNAL_ID = 'iceberg_table_external_id'
         )
      );

예제에서는 외부 볼륨에 대해 생성한 IAM 역할과 연결된 외부 ID(iceberg_table_external_id)를 지정합니다. 외부 ID를 지정하면 여러 외부 볼륨에서 동일한 IAM 역할(및 외부 ID)을 사용할 수 있습니다.

Snowflake 계정에 대한 AWS IAM 사용자 검색¶

1. DESCRIBE EXTERNAL VOLUME 명령을 사용하여 Snowflake 계정에 대해 자동으로 생성된 AWS IAM 사용자에 대한 ARN를 검색합니다. 외부 볼륨의 이름을 지정합니다.

   다음 예제에서는 이름이 iceberg_external_volume 인 외부 볼륨을 설명합니다.

   DESC EXTERNAL VOLUME iceberg_external_volume;
   

   Copy

2. Snowflake 계정에 대해 생성된 AWS IAM 사용자인 STORAGE_AWS_IAM_USER_ARN 속성의 값을 기록합니다(예: arn:aws:iam::123456789001:user/abc1-b-self1234).

   Snowflake는 전체 Snowflake 계정에 대해 단일 IAM 사용자를 프로비저닝합니다. 계정의 모든 S3 외부 볼륨은 해당 IAM 사용자를 사용합니다.

   참고

   외부 볼륨을 생성할 때 외부 ID(STORAGE_AWS_EXTERNAL_ID)를 지정하지 않은 경우 Snowflake는 사용할 수 있는 ID를 생성합니다. 생성된 외부 ID로 IAM 역할 신뢰 정책을 업데이트할 수 있도록 값을 기록합니다.

버킷 오브젝트에 액세스할 수 있도록 IAM 사용자 권한 부여¶

이 단계에서는 Snowflake 계정의 IAM 사용자가 S3 버킷의 오브젝트에 액세스할 수 있도록 허용하는 권한을 구성합니다.

1. AWS Management Console에 로그인합니다.

2. 홈 대시보드에서 IAM 을 검색하여 선택합니다.

3. 왼쪽 탐색 창에서 Roles 를 선택합니다.

4. 외부 볼륨에 대해 생성한 IAM 역할을 선택합니다.

5. Trust relationships 탭을 선택합니다.

6. Edit trust policy 를 선택합니다.

7. 기록한 DESC EXTERNAL VOLUME 출력 값으로 정책 문서를 수정합니다.

   

   IAM 역할에 대한 정책 문서

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "",
         "Effect": "Allow",
         "Principal": {
           "AWS": "<snowflake_user_arn>"
         },
         "Action": "sts:AssumeRole",
         "Condition": {
           "StringEquals": {
             "sts:ExternalId": "<iceberg_table_external_id>"
           }
         }
       }
     ]
   }
   

   Copy

   여기서

   • snowflake_user_arn 은 사용자가 기록한 STORAGE_AWS_IAM_USER_ARN 값입니다.

   • iceberg_table_external_id 는 사용자의 외부 ID입니다. 역할을 생성할 때 외부 ID를 이미 지정하고 동일한 ID를 사용하여 외부 볼륨을 생성한 경우에는 값을 그대로 둡니다. 그렇지 않으면, 기록해 둔 값으로 sts:ExternalId 를 업데이트합니다.

   참고

   새 외부 볼륨을 생성하고(또는 CREATE OR REPLACE EXTERNAL VOLUME 구문을 사용하여 기존 외부 볼륨을 다시 생성하고) 자체 외부 ID를 제공하지 않는 경우 이 정책 문서를 업데이트해야 합니다. 보안상의 이유로, 새 외부 볼륨이나 다시 생성된 외부 볼륨에는 다른 외부 ID가 있으며 이 신뢰 정책을 업데이트하지 않으면 신뢰 관계를 확인할 수 없습니다.

8. Update policy 를 선택하여 변경 사항을 저장합니다.

표준 구문을 사용하여 테이블 만들기¶

우선, 표준 CREATE ICEBERG TABLE 구문을 사용하여 Iceberg 테이블을 만듭니다.

테이블이 Snowflake를 Iceberg 카탈로그로 사용하도록 CATALOG = 'SNOWFLAKE' 를 지정합니다.

테이블 데이터와 메타데이터를 어디에 쓸지 Snowflake에 알려주려면 BASE_LOCATION 매개 변수의 값을 지정합니다. 예제에서는 테이블 이름(customer_iceberg)을 BASE_LOCATION 으로 설정합니다. 이런 방식으로, Snowflake는 외부 볼륨 위치에 있는 테이블과 같은 이름의 디렉터리에 데이터와 메타데이터를 기록합니다.

CREATE OR REPLACE ICEBERG TABLE customer_iceberg (
    c_custkey INTEGER,
    c_name STRING,
    c_address STRING,
    c_nationkey INTEGER,
    c_phone STRING,
    c_acctbal INTEGER,
    c_mktsegment STRING,
    c_comment STRING
)
    CATALOG = 'SNOWFLAKE'
    EXTERNAL_VOLUME = 'iceberg_external_volume'
    BASE_LOCATION = 'customer_iceberg';

자습서 후반부에서는 SNOWFLAKE_SAMPLE_DATA 데이터베이스의 snowflake_sample_data.tpch_sf1.customer 테이블에서 이 테이블로 데이터를 로드합니다. CREATE ICEBERG TABLE 문의 열 정의가 샘플 테이블과 일치합니다.

데이터베이스에 대한 카탈로그 통합 및 외부 볼륨 설정¶

다음으로, 이 자습서에서 생성한 iceberg_tutorial_db 에 대한 CATALOG 및 EXTERNAL_VOLUME 매개 변수를 설정합니다. 매개 변수를 설정하면 변경 후 생성된 모든 Iceberg 테이블에 대해 선택한 특정 카탈로그 및 외부 볼륨을 사용하도록 Snowflake에 지시합니다.

ALTER DATABASE iceberg_tutorial_db SET CATALOG = 'SNOWFLAKE';
ALTER DATABASE iceberg_tutorial_db SET EXTERNAL_VOLUME = 'iceberg_external_volume';

확인하려면 현재 데이터베이스의 매개 변수(iceberg_tutorial_db)를 확인합니다.

SHOW PARAMETERS IN DATABASE ;

CTAS를 사용하여 테이블 만들기¶

마지막으로, CREATE ICEBERG TABLE … AS SELECT 구문을 사용하여 이름이 nation_iceberg 인 두 번째 Iceberg 테이블을 생성합니다. 새 테이블은 Snowflake 샘플 데이터베이스의 snowflake_sample_data.tpch_sf1.nation 테이블을 기반으로 합니다.

CREATE OR REPLACE ICEBERG TABLE nation_iceberg (
  n_nationkey INTEGER,
  n_name STRING
)
  BASE_LOCATION = 'nation_iceberg'
  AS SELECT
    N_NATIONKEY,
    N_NAME
  FROM snowflake_sample_data.tpch_sf1.nation;