Apache Iceberg™ 테이블 관리하기¶
Snowflake의 Apache Iceberg™ 테이블 관리하기:
외부 카탈로그를 사용하는 Iceberg 테이블을 Snowflake를 Iceberg 카탈로그로 사용하는 테이블로 변환할 수도 있습니다. 자세한 내용은 Snowflake를 카탈로그로 사용하도록 Apache Iceberg™ 테이블을 변환하기 을 참조하십시오.
테이블 쿼리하기¶
Iceberg 테이블을 쿼리하려면 사용자에게 다음 권한을 부여하거나 상속해야 합니다.
테이블이 포함된 데이터베이스 및 스키마에 대한 USAGE 권한
테이블에 대한 SELECT 권한
SELECT 문을 사용하여 Iceberg 테이블을 쿼리할 수 있습니다. 예:
SELECT col1, col2 FROM my_iceberg_table;
Snowflake 관리 테이블에 DML 명령 사용하기¶
Snowflake를 카탈로그로 사용하는 Iceberg 테이블은 다음을 포함한 전체 데이터 조작 언어(DML) 명령 을 지원합니다.
참고
Snowflake로 관리되는 테이블은 COPY INTO <테이블> 및 Snowpipe 같은 기능을 사용하여 효율적인 대량 로딩도 지원합니다. 자세한 내용은 Apache Iceberg™ 테이블에 데이터 로드하기 섹션을 참조하십시오.
예: 테이블 업데이트하기¶
INSERT 및 UPDATE 문을 사용하여 Snowflake 관리 Iceberg 테이블을 수정할 수 있습니다.
다음 예제에서는 store_sales
라는 Iceberg 테이블에 새 값을 삽입한 다음, 값이 현재 -99인 경우 cola
열을 1로 업데이트합니다.
INSERT INTO store_sales VALUES (-99);
UPDATE store_sales
SET cola = 1
WHERE cola = -99;
DML 변경 사항의 스냅샷 생성하기¶
Snowflake를 카탈로그로 사용하는 테이블의 경우 Snowflake는 Iceberg 메타데이터를 자동으로 생성합니다. Snowflake는 메타데이터를 외부 볼륨의 metadata
폴더에 씁니다. metadata
폴더를 찾으려면 데이터 및 메타데이터 디렉터리 섹션을 참조하십시오.
또는 SYSTEM$GET_ICEBERG_TABLE_INFORMATION 함수를 호출하여 새로운 변경 사항에 대한 Iceberg 메타데이터를 생성할 수 있습니다.
Snowflake에서 관리하지 않는 테이블의 경우 이 함수는 최신 새로 고침된 스냅샷에 대한 정보를 반환합니다.
예:
SELECT SYSTEM$GET_ICEBERG_TABLE_INFORMATION('db1.schema1.it1');
출력:
+-----------------------------------------------------------------------------------------------------------+
| SYSTEM$GET_ICEBERG_TABLE_INFORMATION('DB1.SCHEMA1.IT1') |
|-----------------------------------------------------------------------------------------------------------|
| {"metadataLocation":"s3://mybucket/metadata/v1.metadata.json","status":"success"} |
+-----------------------------------------------------------------------------------------------------------+
행 수준 삭제 사용¶
참고
외부에서 관리되는 Iceberg 테이블에만 지원됩니다.
업데이트, 삭제, 병합 작업에 행 수준 삭제 를 구성한 경우 Snowflake는 외부에서 관리되는 Iceberg 테이블 을 쿼리할 수 있도록 지원합니다.
행 수준 삭제를 구성하려면 Apache Iceberg 설명서에서 value 속성 을 참조하십시오.
copy-on-write 대 merge-on-read¶
Iceberg는 컴퓨팅 엔진이 외부에서 관리되는 테이블의 행 수준 작업을 처리하는 방법을 구성하는 두 가지 모드를 제공합니다. Snowflake는 이 두 가지 모드를 모두 지원합니다.
다음 테이블에서는 각 모드를 사용할 수 있는 경우에 대해 설명합니다.
모드 |
설명 |
---|---|
copy-on-write(기본값) |
이 모드는 읽기 시간의 우선순위를 정하고 쓰기 속도에 영향을 줍니다. 업데이트, 삭제 또는 병합 작업을 수행하면 컴퓨팅 엔진이 영향을 받는 전체 Parquet 데이터 파일을 다시 작성합니다. 특히 대용량 데이터 파일이 있는 경우 쓰기 속도가 느려질 수 있지만 읽기 시간에는 영향을 미치지 않습니다. 이 모드가 기본 모드입니다. |
merge-on-read |
이 모드는 쓰기 속도를 우선시하며 읽기 시간에 약간의 영향을 줍니다. 업데이트, 삭제 또는 병합 작업을 수행하면 컴퓨팅 엔진에서 변경된 행에 대한 정보만 포함된 삭제 파일을 생성합니다. 테이블에서 읽을 때 쿼리 엔진은 삭제 파일을 데이터 파일과 병합합니다. 병합하면 읽기 시간이 늘어날 수 있습니다. 그러나 정기적인 압축 및 테이블 유지 관리를 예약하여 읽기 성능을 최적화할 수 있습니다. |
Iceberg의 행 수준 변경에 대한 자세한 내용은 Apache Iceberg 설명서의 행 수준 삭제 를 참조하십시오.
고려 사항 및 제한 사항¶
외부에서 관리되는 Iceberg 테이블에서 행 수준 삭제를 사용하는 경우 다음 사항을 고려하십시오.
Snowflake 지원 위치 삭 제 만 삭제합니다.
행 수준 삭제를 사용할 때 최상의 읽기 성능을 얻으려면 정기적으로 압축 및 테이블 유지 관리를 수행하여 오래된 삭제 파일을 제거하십시오. 자세한 내용은 외부 카탈로그를 사용하는 테이블 관리하기 섹션을 참조하십시오.
행 수준 삭제를 사용할 때 현재 지원되지 않는 기능은 다음과 같습니다.
자동 새로 고침
동적 테이블, 동적 Iceberg 테이블 또는 기존 위치 삭제가 있는 Iceberg 테이블에서 구체화된 뷰, 검색 최적화 또는 스트림을 생성할 수 있습니다.
동적 테이블
동적 테이블, 동적 Iceberg 테이블 또는 구체화된 뷰가 활동 중이거나 삭제된 Iceberg 테이블, 검색 최적화 또는 스트림에서 위치 삭제가 있는 Iceberg 스냅샷을 새로 고칩니다.
검색 최적화
스트림
외부 카탈로그를 사용하는 테이블 관리하기¶
외부 카탈로그를 사용하여 Iceberg 테이블에서 유지 관리 작업을 수행할 수 있습니다.
유지 관리 작업에는 다음이 포함됩니다.
스냅샷 만료
이전 메타데이터 파일 제거하기
데이터 파일 압축하기
중요
외부 변경 사항에 따라 Iceberg 테이블을 동기화하려면 Snowflake 새로 고침 일정을 테이블 유지 관리와 맞추는 것이 중요합니다. 유지 관리 작업을 수행할 때마다 테이블을 새로 고칩니다.
Snowflake로 관리되지 않는 Iceberg 테이블의 유지 관리에 대해 알아보려면 Apache Iceberg 설명서의 유지 관리 를 참조하십시오.
테이블 메타데이터 새로 고침¶
외부 Iceberg 카탈로그를 사용하는 경우 ALTER ICEBERG TABLE … REFRESH 명령을 사용하여 테이블 메타데이터를 새로 고칠 수 있습니다. 테이블 메타데이터를 새로 고치면 메타데이터가 가장 최근 테이블 변경 사항과 동기화됩니다.
참고
지원되는 외부 관리 테이블에 대해 자동 새로 고침 을 설정하는 것이 좋습니다.
테이블의 메타데이터 새로 고치기¶
다음 예제에서는 외부 카탈로그(예: AWS Glue 또는 Delta)를 사용하는 테이블의 메타데이터를 수동으로 새로 고칩니다. 테이블을 새로 고치면 원격 카탈로그에서 발생한 모든 변경 사항과 테이블이 동기화됩니다.
이러한 유형의 Iceberg 테이블을 사용할 경우 명령에 메타데이터 파일 경로를 지정하지 않습니다.
ALTER ICEBERG TABLE my_iceberg_table REFRESH;
테이블을 자동으로 업데이트하려면 자동 새로 고침 을 설정할 수 있습니다. ALTER ICEBERG TABLE 명령을 사용합니다.
예:
ALTER ICEBERG TABLE my_iceberg_table SET AUTO_REFRESH = TRUE;
Iceberg 파일에서 생성된 테이블의 메타데이터 새로 고치기¶
다음 예제에서는 외부 클라우드 저장소에 있는 Iceberg 메타데이터 파일 에서 생성된 테이블을 수동으로 새로 고치며, 선행 슬래시(/
) 없이 메타데이터 파일의 상대 경로를 지정합니다. 메타데이터 파일은 새로 고친 후 테이블의 데이터를 정의합니다.
ALTER ICEBERG TABLE my_iceberg_table REFRESH 'metadata/v1.metadata.json';
저장소 메트릭 검색하기¶
Snowflake는 Iceberg 테이블 저장소 비용을 귀하의 계정에 청구하지 않습니다. 그러나 Snowflake Information Schema 또는 Account Usage 스키마에서 TABLE_STORAGE_METRICS 및 TABLES 뷰를 쿼리하여 Iceberg 테이블이 차지하는 저장 용량을 추적할 수 있습니다.
다음 예제 쿼리는 ACCOUNT_USAGE.TABLE_STORAGE_METRICS 뷰를 ACCOUNT_USAGE.TABLES 뷰와 조인하여 TABLES.IS_ICEBERG 열을 필터링합니다.
SELECT metrics.* FROM
snowflake.account_usage.table_storage_metrics metrics
INNER JOIN snowflake.account_usage.tables tables
ON (
metrics.id = tables.table_id
AND metrics.table_schema_id = tables.table_schema_id
AND metrics.table_catalog_id = tables.table_catalog_id
)
WHERE tables.is_iceberg='YES';