Apache Iceberg™ 테이블용 저장소¶

저장소에 Snowflake 액세스 권한 부여하기¶

Snowflake가 Iceberg 테이블의 저장 위치에 액세스할 수 있도록 허용하려면 클라우드 공급자의 ID 및 액세스 관리 서비스를 사용합니다. ID 또는 보안 주체와 시크릿을 교환하지 않고 저장소에 대한 제한된 액세스 권한을 부여합니다. 이는 Snowflake가 저장소 통합을 포함한 다른 통합에 사용하는 액세스 모델과 동일합니다.

외부 볼륨 을 생성하면 Snowflake는 전체 Snowflake 계정에 대한 주체를 프로비저닝합니다. 주체는 클라우드 공급자에 따라 다음과 같습니다.

Snowflake는 저장소 공급자와 직접 인증하며, Snowflake 프로비저닝 주체는 사용자가 지정한 역할을 수행합니다. 역할에는 저장 위치에서 작업을 수행할 수 있는 권한이 있어야 합니다. 예를 들어, Snowflake는 역할에 해당 저장 위치에서 읽기 권한이 있는 경우에만 저장 위치에서 읽을 수 있습니다.

Snowflake에는 Iceberg 테이블에서 다음 작업을 수행할 수 있는 권한이 필요합니다.

각 외부 볼륨은 특정 활성 저장소 위치 과 연결되며, 하나의 외부 볼륨은 여러 개의 Iceberg 테이블을 지원할 수 있습니다. 그러나 필요한 외부 볼륨의 수는 테이블 데이터를 어떻게 저장, 구성하고 보호할 것인지에 따라 달라집니다.

동일한 저장 위치(예: 동일한 S3 버킷) 아래의 하위 디렉터리에 모든 Snowflake-Iceberg 테이블에 대한 데이터와 메타데이터를 저장할 경우 단일 외부 볼륨을 사용할 수 있습니다. Snowflake 관리 테이블에 대해 이러한 디렉터리를 구성하려면 데이터 및 메타데이터 디렉터리 섹션을 참조하십시오.

또는 여러 개의 외부 볼륨을 생성하여 다양한 저장 위치를 각기 다르게 보호할 수 있습니다. 예를 들어, 다음과 같은 외부 볼륨을 생성할 수 있습니다.

• 외부에서 관리되는 Iceberg 테이블을 위한 읽기 전용 외부 볼륨입니다.

• Snowflake 관리 테이블에 대한 읽기 및 쓰기 액세스 권한이 구성된 외부 볼륨입니다.

Iceberg 테이블에 대한 저장소 액세스 권한을 Snowflake에 부여하는 방법에 대한 전체 지침은 다음 항목을 참조하십시오.

• Amazon S3의 외부 볼륨 구성하기

• Google Cloud Storage용 외부 볼륨 구성하기

• Azure의 외부 볼륨 구성

활성 저장소 위치¶

각 외부 볼륨은 하나의 활성 저장소 위치를 지원합니다. CREATE EXTERNAL VOLUME 문에 저장소 위치를 여러 개 지정하면 Snowflake는 한 위치를 활성 위치로 할당합니다. 활성 위치는 외부 볼륨의 수명 동안 동일하게 유지됩니다.

할당은 CREATE ICEBERG TABLE 문에서 외부 볼륨을 처음 사용할 때 발생합니다. Snowflake는 다음 논리를 사용하여 활성 위치를 선택합니다.

• STORAGE_LOCATIONS 목록에 하나 이상의 로컬 저장소 위치가 포함된 경우 Snowflake는 목록의 첫 번째 로컬 저장소 위치를 사용합니다. 로컬 저장소 위치는 클라우드 공급업체와 동일한 위치이며 사용자의 Snowflake 계정과 동일합니다.

• STORAGE_LOCATIONS 목록에 로컬 저장소 위치가 없으면 Snowflake는 목록의 첫 번째 위치를 선택합니다.

저장소 액세스 확인¶

Snowflake가 저장소 공급자를 성공적으로 인증할 수 있는지 확인하려면 SYSTEM$VERIFY_EXTERNAL_VOLUME 함수를 호출합니다.

SELECT SYSTEM$VERIFY_EXTERNAL_VOLUME('my_s3_external_volume');

Snowflake 관리 테이블의 경우, 다음과 같은 상황에서 Snowflake는 외부 볼륨의 활성 저장소 위치 에 대한 액세스를 자동으로 확인합니다.

• Snowflake 관리 테이블의 CREATE ICEBERG TABLE 문에서 외부 볼륨을 처음 지정하는 경우.

• 처음으로 테이블을 변환하여 Snowflake를 Iceberg 카탈로그로 사용하는 경우.

외부 볼륨의 ALLOW_WRITES 속성을 TRUE 로 설정해야 합니다.

Snowflake는 저장소 위치를 확인하기 위해 다음과 같은 저장소 작업을 시도합니다.

1. 테스트 파일을 작성합니다.

2. 파일을 읽습니다.

3. 파일 경로의 내용을 나열합니다.

4. 파일을 삭제합니다.

작업 중 하나라도 실패하면 CREATE ICEBERG TABLE(또는 ALTER ICEBERG TABLE … CONVERT TO MANAGED) 문이 실패하고 오류 메시지가 표시됩니다.

파일 관리¶

이 섹션에서는 Iceberg 테이블 유형에 따라 저장소에서 Iceberg 테이블 파일을 관리하는 방식을 설명합니다.

CREATE OR REPLACE ICEBERG TABLE iceberg_table_1 (
  col_1 int,
  col_2 string
)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'iceberg_external_volume'
  BASE_LOCATION = 'iceberg_table_1';

CREATE OR REPLACE ICEBERG TABLE iceberg_table_2 (
  col_1 int,
  col_2 string
)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'iceberg_external_volume'
  BASE_LOCATION = 'iceberg_table_2';

STORAGE_BASE_URL
|-- iceberg_table_1
|   |-- data/
|   |-- metadata/
|-- iceberg_table_2
|   |-- data/
|   |-- metadata/

저장소 액세스 로그 활성화하기¶

외부 볼륨과 관련된 저장소 위치에 대한 문제를 진단하고 액세스를 감사하려면 저장소 로깅을 활성화할 수 있습니다. 저장소 로그는 누락되거나 손상된 파일의 원인을 식별하는 데 도움이 됩니다.

저장소 공급자를 통해 로깅을 활성화합니다. 사용자가 Iceberg 테이블의 저장소를 소유하고 관리하므로 Snowflake에서 Iceberg 저장소 위치에 대한 로깅이나 감사를 활성화할 수 없습니다.

저장소 공급자에 대한 저장소 액세스 로그에 대해 알아보려면 다음 외부 항목을 참조하십시오.

• Amazon S3의 로깅 옵션

• Google Cloud Storage의 사용 로그 및 저장소 로그

• Azure Storage 분석 로깅

버전 관리 및 오브젝트 보존을 사용하여 파일 보호하기¶

Iceberg 테이블 데이터가 여러 도구와 서비스에 의해 운영되는 중앙 데이터 리포지토리(또는 데이터 레이크)에 있는 경우, 실수로 삭제되거나 손상될 수 있습니다. Iceberg 테이블 데이터를 보호하고 실수로 삭제되거나 덮어쓴 데이터를 검색하려면 저장소 공급자가 제공하는 저장소 수명 주기 관리 및 버전 관리를 사용합니다.

수명 주기 관리를 사용하면 저장소 오브젝트에 대한 보존 및 추적 규칙을 설정할 수 있습니다. 저장소 공급자의 수명 주기 관리에 대해 알아보려면 다음 외부 항목을 참조하십시오.

• Amazon S3의 저장소 수명 주기 관리

• Google Cloud Storage를 위한 오브젝트 수명 주기 관리

• Azure의 수명 주기 관리 정책

오브젝트 복구를 지원하기 위해 외부 클라우드 저장소에 대한 버전 관리를 활성화할 수도 있습니다.

• Amazon S3에 대한 버전 관리를 활성화하려면 버킷에 대한 버전 관리 활성화하기 를 참조하십시오.

• Google Cloud Storage의 버전 관리를 활성화하려면 오브젝트 버전 관리 사용하기 를 참조하십시오.

• Azure 버전 관리를 활성화하려면 blob 버전 관리 활성화하기 를 참조하십시오.

테이블 파일 암호화하기¶

Snowflake는 일반적인 서버 쪽 암호화(SSE) 스키마를 사용하여 암호화한 저장소의 Iceberg 테이블 파일을 읽을 수 있습니다. 클라우드 서비스 공급자를 사용하여 암호화 키를 관리해야 하며, 고객 관리 키를 사용하는 경우 Snowflake 주체에게 키에 대한 액세스 권한을 부여해야 합니다.

Amazon S3의 경우 Snowflake는 다음 SSE 옵션을 지원합니다.

Google Cloud Storage의 경우, Snowflake는 다음 SSE 옵션을 지원합니다.