변환된 Apache Iceberg™ 테이블에 대한 전체 수명 주기 관리(미리 보기)¶
외부 관리 Apache Iceberg™ 테이블을 Snowflake를 Iceberg 카탈로그로 사용하는 테이블로 변환하면 Snowflake가 변환된 테이블의 전체 수명 주기 관리를 처리합니다. 이러한 관리에는 테이블을 변환하기 전에 생성된 데이터 및 메타데이터 파일 관리가 포함됩니다.
- 변경 전:
Snowflake를 카탈로그로 사용하도록 외부 관리 Iceberg 테이블을 변환할 때 Snowflake는 테이블을 변환하기 전에 테이블에 대해 생성된 데이터 및 메타데이터 파일을 삭제하지 않습니다.
- 변경 후:
Snowflake를 카탈로그로 사용하도록 외부 관리 Iceberg 테이블을 변환할 때 Snowflake는 테이블을 변환하기 전에 테이블에 대해 생성된 데이터 및 메타데이터 파일의 삭제를 관리합니다. Snowflake는 이러한 파일이 만료될 때, 즉 보존 기간을 초과할 때 삭제합니다.
Snowflake가 삭제하는 메타데이터 파일에는 메타데이터.json, 매니페스트 파일, 매니페스트 목록 파일이 포함됩니다.
이 변경 사항은 기존의 변환된 테이블과 변경 사항이 활성화된 후에 변환되는 테이블 모두에 영향을 줍니다.
변경 사항을 적용하기 전에 다음을 수행합니다.
테이블을 변환하기 전에 생성된 테이블의 저장소 위치에 있는 Iceberg 파일을 사용하는 워크로드 또는 파이프라인이 있는지 확인합니다. 또한, 테이블에 설정된 보존 기간보다 오래된 Iceberg 스냅샷과 파일을 확인합니다.
이러한 파일을 찾았지만 변경 사항이 적용된 후에도 Snowflake 외부에서 여전히 필요한 경우, 관리하는 별도의 저장소 위치에 파일을 복사합니다.
이러한 변경을 통해 Snowflake는 변환된 Iceberg 테이블의 전체 수명 주기를 관리할 수 있습니다. 결과적으로, 이러한 변경으로 인해 만료된 후에도 저장소에 남아 있는 변환 전 데이터 및 메타데이터 파일로 인한 불필요한 저장소 소비가 방지됩니다.
Ref: 2219