Iceberg 테이블¶

데이터 저장소¶

Iceberg 테이블은 외부 클라우드 저장소 위치(Amazon S3, Google Cloud Storage 또는 Azure Storage)에 데이터 파일과 메타데이터 파일을 저장합니다. 외부 저장소는 Snowflake에 속하지 않습니다. 데이터 보호 및 복구 구성을 포함하여, 외부 클라우드 저장소 위치에 대한 모든 관리 책임은 본인에게 있습니다. Snowflake는 Iceberg 테이블에 대한 Fail-safe 저장소를 제공하지 않습니다.

Snowflake는 외부 볼륨 을 사용하여 저장소 위치에 연결합니다.

Iceberg 테이블로 인해 발생하는 Snowflake 저장소 비용은 없습니다. 자세한 내용은 청구 섹션을 참조하십시오.

Iceberg 카탈로그¶

Iceberg 카탈로그를 사용하면 컴퓨팅 엔진이 Iceberg 테이블을 관리하고 로드할 수 있습니다. 카탈로그는 Iceberg 테이블 사양 의 첫 번째 아키텍처 계층을 형성하며 다음을 지원해야 합니다.

• 하나 이상의 Iceberg 테이블에 대한 현재 메타데이터 포인터 저장. 메타데이터 포인터는 테이블 이름을 해당 테이블의 현재 메타데이터 파일 위치에 매핑합니다.

• 테이블의 현재 메타데이터 포인터를 업데이트할 수 있도록 원자성 작업 수행.

Iceberg 카탈로그에 대해 자세히 알아보려면 Apache Iceberg 설명서 를 참조하십시오.

Snowflake는 다양한 카탈로그 옵션 을 지원합니다. 예를 들어 Snowflake를 Iceberg 카탈로그로 사용하거나 카탈로그 통합 을 사용하여 Snowflake를 AWS Glue와 같은 외부 Iceberg 카탈로그 또는 오브젝트 저장소의 Iceberg 메타데이터 파일에 연결할 수 있습니다.

메타데이터 및 스냅샷¶

Iceberg는 데이터 파일이 매니페스트 및 메타데이터 파일을 사용하여 매핑되는 스냅샷 기반 쿼리 모델을 사용합니다. 스냅샷은 특정 시점의 테이블 상태를 나타내며 테이블의 전체 데이터 파일 세트에 액세스하는 데 사용됩니다.

Snowflake는 DATA_RETENTION_TIME_IN_DAYS 매개 변수를 사용하여 Iceberg 테이블 유형에 따라 다양한 방식으로 메타데이터를 처리합니다.

Snowflake를 Iceberg 카탈로그로 사용하는 테이블

이 테이블 유형의 경우 Snowflake는 주기적으로 메타데이터를 생성하고 외부 볼륨에 있는 테이블의 Parquet 파일에 메타데이터를 씁니다.

Snowflake는 DATA_RETENTION_TIME_IN_DAYS의 값을 사용하여 다음 사항을 결정합니다.

• 테이블 메타데이터의 크기를 줄이기 위해 이전 테이블 스냅샷을 만료해야 하는 시점.

• Time Travel 과 테이블 삭제 취소를 지원하기 위해 테이블 메타데이터를 보존하는 기간. 보존 기간이 만료되면 Snowflake는 외부 볼륨 위치에서 해당 테이블에 대해 작성한 모든 테이블 메타데이터와 스냅샷을 삭제합니다.

  참고

  Snowflake는 테이블 데이터가 사용자가 관리하는 외부 클라우드 저장소에 있으므로 Iceberg 테이블에 대해 Fail-safe 를 지원하지 않습니다. Iceberg 테이블 데이터를 보호하려면 클라우드 공급자를 통해 데이터 보호 및 복구를 구성해야 합니다.

카탈로그 통합을 사용하는 테이블

Snowflake는 DATA_RETENTION_TIME_IN_DAYS 값을 사용하여 Snowflake Time Travel 의 보존 기간을 설정하고 테이블 삭제를 취소합니다. 보존 기간이 만료되더라도 Snowflake는 외부 클라우드 저장소에서 테이블의 Iceberg 메타데이터 또는 스냅샷을 삭제하지 않습니다.

이 테이블 유형에 대해 DATA_RETENTION_TIME_IN_DAYS를 설정하기 위해 Snowflake는 현재 메타데이터 파일에서 history.expire.max-snapshot-age-ms 의 값을 검색한 다음 값을 일수(내림)로 변환합니다.

Snowflake가 메타데이터 파일에서 history.expire.max-snapshot-age-ms 를 찾지 못하거나 값을 구문 분석할 수 없는 경우 DATA_RETENTION_TIME_IN_DAYS 를 기본값인 5일(기본 Apache Iceberg 값)로 설정합니다.

클라우드 간/리전 간 지원¶

클라우드 간/리전 간 지원은 Iceberg 테이블의 유형에 따라 다릅니다.

청구¶

Snowflake는 Iceberg 테이블을 사용할 때 가상 웨어하우스(컴퓨팅) 사용 및 클라우드 서비스에 대해 계정에 요금을 청구합니다.

Snowflake는 다음에 대해 계정에 요금을 청구하지 않습니다.

• Iceberg 테이블 저장소 비용. 클라우드 저장소 공급자는 데이터 저장소 사용량에 대해 직접 요금을 청구합니다.

• Iceberg 테이블에서 사용되는 활성 바이트 수입니다. 그러나 TABLE_STORAGE_METRICS 뷰 에는 Iceberg 테이블의 경우 ACTIVE_BYTES가 표시되어 테이블이 차지하는 저장 용량을 추적하는 데 도움이 됩니다.

Snowflake를 Iceberg 카탈로그로 사용하기¶

Snowflake를 Iceberg 카탈로그로 사용하는 Iceberg 테이블은 읽기 및 쓰기 액세스와 함께 완전한 Snowflake 플랫폼 지원을 제공합니다. 테이블 데이터와 메타데이터는 Snowflake가 외부 볼륨 을 사용하여 액세스하는 외부 클라우드 저장소에 저장됩니다. Snowflake는 테이블에 대해 압축과 같은 모든 수명 주기 유지 관리를 처리합니다.

카탈로그 통합 사용하기¶

카탈로그 통합 을 사용하는 Iceberg 테이블은 읽기 전용 액세스로 제한된 Snowflake 플랫폼 지원을 제공합니다. 테이블 데이터와 메타데이터는 Snowflake가 외부 볼륨 을 사용하여 액세스하는 외부 클라우드 저장소에 저장됩니다. 이 테이블 유형을 사용 시, Snowflake는 카탈로그 통합을 사용하여 Iceberg 메타데이터 및 스키마에 대한 정보를 검색합니다. Snowflake는 테이블에 대한 수명 주기 관리를 맡지 않습니다.

이 옵션을 사용하면 AWS Glue와 같은 외부 Iceberg 카탈로그를 사용하는 Iceberg 테이블을 생성하거나 오브젝트 저장소의 Iceberg 메타데이터 파일에서 테이블을 생성할 수 있습니다. 다음 다이어그램은 Iceberg 테이블이 외부 Iceberg 카탈로그와의 카탈로그 통합을 사용하는 방법을 보여줍니다.