Apache Iceberg™ 테이블¶

시작하기¶

Iceberg 테이블을 시작하려면 자습서: 첫 번째 Apache Iceberg™ 테이블 만들기 섹션을 참조하십시오.

작동 방법¶

이 섹션에서는 Snowflake의 Iceberg 테이블 작업과 관련된 정보를 제공합니다. Iceberg 테이블 형식 사양에 대해 자세히 알아보려면 공식 Apache Iceberg 설명서 및 Iceberg 테이블 사양 을 참조하십시오.

• 데이터 저장소

• 카탈로그

• 메타데이터 및 스냅샷

• 클라우드 간/리전 간 지원

• 청구

카탈로그 옵션¶

Snowflake는 다음의 Iceberg 카탈로그 옵션을 지원합니다.

• Snowflake를 Iceberg 카탈로그 로 사용하기

• 외부 Iceberg 카탈로그 사용

다음 표에 이러한 카탈로그 옵션 간의 차이점이 요약되어 있습니다.

Snowflake를 카탈로그로 사용¶

Snowflake를 Iceberg 카탈로그로 사용하는 Iceberg 테이블은 읽기 및 쓰기 액세스와 함께 완전한 Snowflake 플랫폼 지원을 제공합니다. 테이블 데이터와 메타데이터는 Snowflake가 외부 볼륨 을 사용하여 액세스하는 외부 클라우드 저장소에 저장됩니다. Snowflake는 테이블에 대해 압축과 같은 모든 수명 주기 유지 관리를 처리합니다.

외부 카탈로그 사용¶

외부 카탈로그를 사용하는 Iceberg 테이블은 읽기 전용 액세스로 제한된 Snowflake 플랫폼 지원을 제공합니다. 이 테이블 유형에서 Snowflake는 카탈로그 통합 을 사용하여 Iceberg 메타데이터 및 스키마에 대한 정보를 검색합니다.

이 옵션을 사용하면 다음 소스에 대한 Iceberg 테이블을 생성할 수 있습니다.

• AWS Glue 데이터 카탈로그

• 오브젝트 저장소의 Iceberg 메타데이터 파일

• 오브젝트 저장소의 델타 테이블 파일

• Open Catalog

• 원격 Iceberg REST 카탈로그

Snowflake는 테이블에 대한 수명 주기 관리를 맡지 않습니다.

테이블 데이터와 메타데이터는 Snowflake가 외부 볼륨 을 사용하여 액세스하는 외부 클라우드 저장소에 저장됩니다.

다음 다이어그램은 Iceberg 테이블이 외부 Iceberg 카탈로그와의 카탈로그 통합을 사용하는 방법을 보여줍니다.

고려 사항 및 제한 사항¶

다음 고려 사항과 제한 사항이 Iceberg 테이블에 적용되며 변경될 수 있습니다.

클라우드 및 리전

• Iceberg 테이블은 모든 Snowflake 계정, 모든 클라우드 플랫폼 및 중국 리전을 제외한 모든 리전에서 사용할 수 있습니다.

• 외부 카탈로그를 사용하는 경우 클라우드 간/리전 간 테이블이 지원됩니다. 자세한 내용은 클라우드 간/리전 간 지원 섹션을 참조하십시오.

Iceberg

• 다음 기능: 을 제외하고 Apache Iceberg 사양의 버전 1 및 2가 지원됩니다.

  • 행 수준 삭제(위치 삭제 또는 동등 삭제) 그러나 Snowflake를 카탈로그로 사용하는 테이블은 Snowflake DELETE 문을 지원합니다.

  • history.expire.min-snapshots-to-keep 테이블 속성 을 사용하여 유지할 기본 최소 스냅샷 수 지정. 자세한 내용은 메타데이터 및 스냅샷 섹션을 참조하십시오.

• bucket 변환 함수를 사용한 Iceberg 분할은 조건절을 사용하여 결과를 필터링하는 쿼리의 성능에 영향을 미칩니다.

• Snowflake에서 관리되지 않는 Iceberg 테이블의 경우 다음 사항에 유의하십시오.

  • 스냅샷이 만료되기 전에 주기적으로 테이블을 새로 고치는 경우 테이블 생성 후 생성된 모든 스냅샷으로의 Time Travel이 지원됩니다.

  • 구체화되지 않은 ID 파티션 열이 있는 테이블의 변환은 지원되지 않습니다. 소스 열이 Parquet 파일에 존재하지 않는 경우, 테이블에서 ID 변환을 정의하면 구체화되지 않은 ID 파티션 열이 생성됩니다.

파일 형식

• Iceberg 테이블은 Apache Parquet 파일을 지원합니다.

• 부호 없는 정수 논리 유형을 사용하는 Parquet 파일은 지원되지 않습니다.

외부 볼륨

• 저장소 통합을 사용하여 외부 볼륨의 클라우드 저장소 위치에 액세스할 수 없습니다.

• 생성하는 각 외부 볼륨에 대해 별도의 신뢰 관계를 구성해야 합니다.

메타데이터 파일

• 메타데이터 파일은 Iceberg 테이블의 가장 최근 스냅샷을 식별하지 못합니다.

• 데이터 파일 또는 스냅샷의 위치는 ALTER ICEBERG TABLE 명령을 사용하여 수정할 수 없습니다. 이러한 설정 중 하나를 수정하려면 (CREATE OR REPLACE ICEBERG TABLE 구문을 사용하여) 테이블을 다시 생성해야 합니다.

• 외부 카탈로그를 사용하는 테이블의 경우:

  • 매니페스트 파일에 중복이 포함되지 않았는지 확인합니다. 동일한 스냅샷에 중복 파일이 있는 경우 Snowflake는 중복 파일의 경로를 포함하는 오류를 반환합니다.

  • Parquet 메타데이터에 유효하지 않은 UTF-8 문자가 포함된 경우 테이블을 생성할 수 없습니다. Parquet 메타데이터가 UTF-8을 준수하는지 확인합니다.

• Snowflake는 Snowflake 외부에서 생성된 Parquet 메타데이터의 손상 및 불일치를 감지하고 오류 메시지를 통해 문제를 표시합니다.

  테이블 메타데이터가 일관되지 않은 경우에도 외부에서 관리되는(또는 변환된) 테이블을 생성, 새로 고침 또는 쿼리하는 것이 가능합니다. Iceberg 데이터를 작성할 때는 테이블의 메타데이터 통계(예: RowCount 또는 NullCount)가 데이터 내용과 일치하는지 확인하십시오.

• Snowflake를 카탈로그로 사용하는 테이블의 경우 Snowflake는 DDL 문을 개별적으로 처리하고 다른 카탈로그와 다를 수 있는 방식으로 메타데이터를 생성합니다. 자세한 내용은 DDL 문 섹션을 참조하십시오.

클러스터링

클러스터링 지원은 Iceberg 테이블의 유형에 따라 다릅니다.

테이블 타입	참고
Snowflake를 Iceberg 카탈로그로 사용하는 테이블	CREATE ICEBERG TABLE 또는 ALTER ICEBERG TABLE 명령을 사용하여 클러스터링 키를 설정합니다. 클러스터링 키를 설정하거나 관리하려면 CREATE ICEBERG TABLE(Iceberg 카탈로그로서의 Snowflake) 및 ALTER ICEBERG TABLE 섹션을 참조하십시오.
외부 카탈로그를 사용하는 테이블	클러스터링은 지원되지 않습니다.
변환된 테이블	Snowflake는 테이블을 변환한 후 파일이 생성되었거나 그 이후에 DML 문을 사용하여 파일이 수정된 경우에만 파일을 클러스터링합니다.

델타

• Snowflake 스트림은 파티션 열이 있는 Delta 테이블 파일에서 생성된 Iceberg 테이블에는 지원되지 않습니다. 그러나 파티션 열이 없는 Delta 파일에서 생성된 테이블에 대한 Insert-only 스트림은 지원됩니다.

• Delta 테이블 파일에서 생성된 Iceberg 테이블에서는 동적 테이블이 지원되지 않습니다.

• Snowflake에서는 AWS Glue Data Catalog의 Delta 테이블 정의에서 Iceberg 테이블을 만들 수 없습니다.

• 다음 특징이나 데이터 타입을 사용하는 Parquet 파일(Delta 테이블의 데이터 파일)은 지원되지 않습니다.

  • 필드 ID.

  • INTERVAL 데이터 타입.

  • 전체 자릿수가 38개보다 많은 DECIMAL 데이터 타입.

  • 1단계 또는 2단계 표현을 사용하는 LIST 또는 MAP 타입.

  • 부호 없는 정수 타입(INT(부호 있음 = false)).

  • FLOAT16 데이터 타입.

  Delta 데이터 타입과 Iceberg 테이블에 대한 자세한 내용은 델타 데이터 타입 섹션을 참조하십시오.

• CREATE 및 ALTER … REFRESH 중에 새로 고침 작업은 작업당 최대 1,000개의 Delta 커밋 파일을 처리할 수 있습니다.

  참고

  Snowflake는 Iceberg 테이블을 생성할 때 Delta 체크포인트 파일을 사용합니다. 1,000개의 커밋 파일 제한은 최신 체크포인트 이후의 커밋에만 적용됩니다.

• SYSTEM$GET_ICEBERG_TABLE_INFORMATION 함수를 사용하여 Iceberg 메타데이터를 생성할 수 없습니다.

• Delta Lake 기능 중 행 추적, 삭제 벡터 파일, 변경 데이터 파일, 변경 메타데이터, DataChange, CDC, 프로토콜 진화는 지원되지 않습니다.

자동 새로 고침

• 자동 새로 고침이 활성화되어 있으면 테이블 메타데이터를 수동으로 새로 고칠 수 없습니다. 수동 새로 고침을 수행하려면 먼저 자동 새로 고침을 해제합니다.

• Snowflake 버전 8.22 이전에 생성된 카탈로그 통합의 경우 해당 카탈로그 통합에 의존하는 테이블에서 자동 새로 고침을 활성화하기 전에 REFRESH_INTERVAL_SECONDS 매개 변수를 수동으로 설정해야 합니다. 자세한 지침은 ALTER CATALOG INTEGRATION … SET AUTO_REFRESH 섹션을 참조하십시오.

• 새 테이블 스냅샷이 현재 테이블 스냅샷의 직접적인 하위인지 확인합니다. 그렇지 않으면 자동 새로 고침이 STOPPED 상태로 전환됩니다. 이 문제가 발생할 때 자동 새로 고침을 복구하려면 오류 복구 섹션을 참조하십시오.

  • 테이블이 비어 있는 경우 자동 새로 고침을 활성화하기 전에 수동 새로 고침을 수행 하여 정의되지 않은 동작을 방지합니다.

• 오브젝트 저장소에 카탈로그 통합 을 사용하는 경우 자동 새로 고침이 지원되지 않습니다.

• 시퀀스 번호 열이 없는 Iceberg 버전 1 매니페스트는 현재 지원되지 않습니다.

서드 파티 클라이언트의 Iceberg 데이터, 메타데이터 액세스

• 서드 파티 클라이언트는 Snowflake를 카탈로그로 사용하는 Iceberg 테이블에 데이터를 추가, 삭제 또는 업서트할 수 없습니다.

지원되지 않는 기능

다음 Snowflake 기능은 현재 모든 Iceberg 테이블에서 지원되지 않습니다.

• 다음 드라이버:

  • .NET 드라이버

  • Snowflake용 PHP PDO 드라이버

  • Node.js 드라이버

• Fail-safe

• 하이브리드 테이블

• 클라우드 간 자동 복제 를 활성화하는 목록입니다.

• Query Acceleration Service

• Iceberg 테이블, 외부 볼륨 또는 카탈로그 통합의 복제

• 검색 최적화 서비스

• Snowflake 암호화

• Snowflake Native App Framework

• Snowflake 스키마 진화

• Snowpipe Streaming.

  • Snowpipe Streaming을 사용하는 Kafka Connector용 Snowflake Connector

  • Snowflake 수집 SDK

  • Snowpipe Streaming API

• ASSOCIATE_SEMANTIC_CATEGORY_TAGS 저장 프로시저를 사용하여 태그 지정하기

• 임시 및 일시적 테이블

다음 기능은 외부 카탈로그를 사용하는 Iceberg 테이블에는 지원되지 않습니다.

• 복제

• Clustering

• 표준 및 Append-only 스트림. 삽입 전용 스트림만 지원됩니다.