Apache Iceberg™ 테이블 관리하기¶

테이블 쿼리하기¶

Iceberg 테이블을 쿼리하려면 사용자에게 다음 권한을 부여하거나 상속해야 합니다.

• 테이블이 포함된 데이터베이스 및 스키마에 대한 USAGE 권한

• 테이블에 대한 SELECT 권한

SELECT 문을 사용하여 Iceberg 테이블을 쿼리할 수 있습니다. 예:

SELECT col1, col2 FROM my_iceberg_table;

DML 명령 사용¶

Snowflake를 카탈로그로 사용하는 Iceberg 테이블은 다음을 포함한 전체 데이터 조작 언어(DML) 명령 을 지원합니다.

• INSERT

• MERGE

• UPDATE

• DELETE

• TRUNCATE TABLE

Snowflake로 관리되는 테이블은 COPY INTO <테이블> 및 Snowpipe 같은 기능을 사용하여 효율적인 대량 로딩도 지원합니다. 자세한 내용은 Apache Iceberg™ 테이블에 데이터 로드하기 섹션을 참조하십시오.

INSERT INTO store_sales VALUES (-99);

UPDATE store_sales
  SET cola = 1
  WHERE cola = -99;

DML 변경 사항의 스냅샷 생성하기¶

Snowflake를 카탈로그로 사용하는 테이블의 경우 Snowflake는 Iceberg 메타데이터를 자동으로 생성합니다. Snowflake는 메타데이터를 외부 볼륨의 metadata 폴더에 씁니다. metadata 폴더를 찾으려면 데이터 및 메타데이터 디렉터리 섹션을 참조하십시오.

또는 SYSTEM$GET_ICEBERG_TABLE_INFORMATION 함수를 호출하여 새로운 변경 사항에 대한 Iceberg 메타데이터를 생성할 수 있습니다.

Snowflake에서 관리하지 않는 테이블의 경우 이 함수는 최신 새로 고침된 스냅샷에 대한 정보를 반환합니다.

예:

SELECT SYSTEM$GET_ICEBERG_TABLE_INFORMATION('db1.schema1.it1');

출력:

+-----------------------------------------------------------------------------------------------------------+
| SYSTEM$GET_ICEBERG_TABLE_INFORMATION('DB1.SCHEMA1.IT1')                                                   |
|-----------------------------------------------------------------------------------------------------------|
| {"metadataLocation":"s3://mybucket/metadata/v1.metadata.json","status":"success"}                         |
+-----------------------------------------------------------------------------------------------------------+

행 수준 삭제 사용¶

Snowflake는 행 수준 삭제로 테이블을 쿼리하고 행 수준 삭제를 사용하여 테이블에 쓰기를 지원합니다.

대상 파일 크기 설정하기¶

Spark 또는 Trino와 같은 외부 Iceberg 엔진의 쿼리 성능을 개선하려면 Snowflake 관리형 및 쓰기 지원이 있는 외부 관리형 Iceberg 테이블 모두에 대해 대상 파일 크기를 구성하면 됩니다. 특정 크기(16MB, 32MB, 64MB 또는 128MB)를 설정하거나 AUTO 옵션을 사용할 수 있습니다. AUTO는 테이블 유형에 따라 다르게 작동합니다.

• Snowflake 관리형 테이블: AUTO는 Snowflake가 크기, DML 패턴, 수집 워크로드, 클러스터링 구성과 같은 테이블 특성을 기반으로 테이블의 파일 크기를 선택하도록 지정합니다. Snowflake는 Snowflake의 읽기 및 쓰기 성능을 향상하기 위해 16MB부터 시작하여 파일 크기를 자동으로 조정합니다.

• 외부 관리형 테이블: AUTO는 Snowflake가 더 큰 파일 크기로 적극적으로 확장하도록 지정합니다.

Iceberg 테이블을 생성할 때 대상 파일 크기를 설정하거나 ALTER ICEBERG TABLE 명령을 실행하여 기존 Iceberg 테이블의 대상 파일 크기를 변경합니다. Snowflake는 테이블에 대한 Parquet 파일을 작성할 때 파일 크기를 대상 크기에 가깝게 유지하려고 시도합니다.

대상 파일 크기를 설정한 후 Snowflake는 새 데이터 조작 언어(DML) 작업을 위해 즉시 더 큰 파일을 만들기 시작합니다. Snowflake의 테이블 유지 관리 작업은 대상 파일 크기에 따라 기존 테이블 파일을 비동기적으로 변경합니다.

다음 예제에서는 TARGET_FILE_SIZE를 사용하여 Snowflake 관리형 테이블에 대한 대상 파일 크기를 128MB로 설정합니다.

CREATE ICEBERG TABLE my_iceberg_table (col1 INT)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'my_iceberg_table'
  TARGET_FILE_SIZE = '128MB';

또는 :doc:`/sql-reference/sql/alter-iceberg-table`을 사용하여 기존 테이블에 대한 TARGET_FILE_SIZE 속성을 설정합니다.

ALTER ICEBERG TABLE my_iceberg_table
  SET TARGET_FILE_SIZE = '32MB';

테이블에 대한 TARGET_FILE_SIZE 속성 값을 확인하려면 SHOW PARAMETERS 명령을 사용합니다.

SHOW PARAMETERS LIKE 'target_file_size' FOR my_iceberg_table;

Snowflake 관리 Iceberg 테이블을 위한 테이블 최적화¶

테이블 최적화는 Snowflake 관리 Iceberg 테이블의 성능을 개선하고 저장소 비용을 줄이기 위해 자동으로 유지 관리를 수행합니다.

Snowflake는 다음 표에 요약된 Iceberg 테이블 최적화 기능을 지원합니다.

_{[1] 다른 테이블 최적화 기능과 달리, 자동 클러스터링은 독립 실행형 기능으로 별도로 요금이 청구됩니다.}

외부 카탈로그를 사용하는 테이블 관리하기¶

외부 카탈로그를 사용하여 Iceberg 테이블에서 유지 관리 작업을 수행할 수 있습니다.

유지 관리 작업에는 다음이 포함됩니다.

• 스냅샷 만료

• 이전 메타데이터 파일 제거하기

• 데이터 파일 압축하기

Snowflake로 관리되지 않는 Iceberg 테이블의 유지 관리에 대해 알아보려면 Apache Iceberg 설명서의 유지 관리 를 참조하십시오.

테이블 메타데이터 새로 고침¶

외부 Iceberg 카탈로그를 사용하는 경우 ALTER ICEBERG TABLE … REFRESH 명령을 사용하여 테이블 메타데이터를 새로 고칠 수 있습니다. 테이블 메타데이터를 새로 고치면 메타데이터가 가장 최근 테이블 변경 사항과 동기화됩니다.

ALTER ICEBERG TABLE my_iceberg_table REFRESH;

ALTER ICEBERG TABLE my_iceberg_table SET AUTO_REFRESH = TRUE;

ALTER ICEBERG TABLE my_iceberg_table REFRESH 'metadata/v1.metadata.json';

저장소 메트릭 검색하기¶

Snowflake는 Iceberg 테이블 저장소 비용을 귀하의 계정에 청구하지 않습니다. 그러나 Snowflake Information Schema 또는 Account Usage 스키마에서 TABLE_STORAGE_METRICS 및 TABLES 뷰를 쿼리하여 Iceberg 테이블이 차지하는 저장 용량을 추적할 수 있습니다.

다음 예제 쿼리는 ACCOUNT_USAGE.TABLE_STORAGE_METRICS 뷰를 ACCOUNT_USAGE.TABLES 뷰와 조인하여 TABLES.IS_ICEBERG 열을 필터링합니다.

SELECT metrics.* FROM
  snowflake.account_usage.table_storage_metrics metrics
  INNER JOIN snowflake.account_usage.tables tables
  ON (
    metrics.id = tables.table_id
    AND metrics.table_schema_id = tables.table_schema_id
    AND metrics.table_catalog_id = tables.table_catalog_id
  )
  WHERE tables.is_iceberg='YES';

데이터 압축 설정¶

데이터베이스, 스키마 또는 테이블을 생성하거나 ALTER 명령을 사용하여 기존 데이터베이스, 스키마 또는 테이블의 설정을 변경할 때 Snowflake 관리 Iceberg 테이블에 대한 데이터 압축을 설정할 수 있습니다. ALTER ACCOUNT 명령을 사용하여 계정 수준에서 데이터 압축을 설정할 수도 있습니다. 데이터 압축에 대한 자세한 내용은 데이터 압축 섹션을 참조하세요.

다음 예에서는 ENABLE_DATA_COMPACTION을 사용하여 Snowflake 관리 테이블에 대한 데이터 압축을 비활성화합니다.

CREATE ICEBERG TABLE my_iceberg_table (col1 INT)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'my_iceberg_table'
  ENABLE_DATA_COMPACTION = FALSE;

또는 :doc:`/sql-reference/sql/alter-iceberg-table`을 사용하여 기존 테이블에 대해 데이터 압축을 비활성화합니다.

ALTER ICEBERG TABLE my_iceberg_table
  SET ENABLE_DATA_COMPACTION = FALSE;

자세한 내용은 다음을 참조하십시오.

• ENABLE_DATA_COMPACTION

• ALTER ACCOUNT

• CREATE DATABASE

• ALTER DATABASE

• CREATE SCHEMA

• ALTER SCHEMA

• CREATE ICEBERG TABLE(Iceberg 카탈로그로서의 Snowflake)

• ALTER ICEBERG TABLE