Apache Iceberg™ 테이블 자동 새로 고침¶

카탈로그 통합에서 새로 고침 간격 설정¶

CREATE CATALOG INTEGRATION 명령을 실행할 때 REFRESH_INTERVAL_SECONDS 매개 변수의 값을 지정할 수 있습니다. 그렇지 않은 경우 기본 새로 고침 간격은 30초입니다. Snowflake는 카탈로그 통합으로 정의된 Iceberg 테이블이 있는 경우에만 외부 카탈로그를 폴링합니다.

다음 예제에서는 새로 고침 간격을 60초로 지정하여 AWS Glue에 대한 카탈로그 통합을 생성합니다.

CREATE CATALOG INTEGRATION auto_refresh_catalog_integration
  CATALOG_SOURCE = GLUE
  CATALOG_NAMESPACE = 'my_catalog_namespace'
  TABLE_FORMAT = ICEBERG
  GLUE_AWS_ROLE_ARN = 'arn:aws:iam::123456789123:role/my-catalog-role'
  GLUE_CATALOG_ID = '123456789123'
  ENABLED = TRUE
  REFRESH_INTERVAL_SECONDS = 60;

카탈로그 통합의 새로 고침 간격을 업데이트하려면 ALTER CATALOG INTEGRATION 명령을 사용합니다.

예:

ALTER CATALOG INTEGRATION auto_refresh_catalog_integration SET REFRESH_INTERVAL_SECONDS = 120;

자동 새로 고침 기능이 있는 Iceberg 테이블 만들기¶

CREATE ICEBERG TABLE 명령을 사용하여 Iceberg 테이블을 생성합니다. 테이블에 자동 메타데이터 새로 고침을 사용하도록 지정하려면 AUTO_REFRESH = TRUE 를 설정합니다.

다음 예제는 앞서 생성한 카탈로그 통합(auto_refresh_catalog_integration)과 AWS Glue의 CATALOG_TABLE_NAME 를 지정하여 AWS Glue를 카탈로그로 사용하는 Iceberg 테이블을 생성하는 예제입니다.

CREATE OR REPLACE ICEBERG TABLE auto_refresh_iceberg_table
  CATALOG_TABLE_NAME = 'myGlueTable'
  CATALOG = 'auto_refresh_catalog_integration'
  AUTO_REFRESH = TRUE;

자동 새로 고침 활성화 또는 취소¶

ALTER ICEBERG TABLE 명령을 사용하여 기존 Iceberg 테이블에 대한 자동 새로 고침을 활성화하거나 해제할 수 있습니다.

예:

ALTER ICEBERG TABLE my_iceberg_table SET AUTO_REFRESH = FALSE;

자동 새로 고침 상태 모니터링¶

SHOW ICEBERG TABLES;

SELECT SYSTEM$AUTO_REFRESH_STATUS('my_iceberg_table');

SELECT *
FROM TABLE(INFORMATION_SCHEMA.ICEBERG_TABLE_SNAPSHOT_REFRESH_HISTORY(
  TABLE_NAME => 'my_iceberg_table'
));

ALTER ICEBERG TABLE <my_table_name> SET LOG_LEVEL = DEBUG;

SELECT record_type,
       record:"name" event_name,
       record:"severity_text" log_level,
       resource_attributes:"snow.database.name" database_name,
       resource_attributes:"snow.schema.name" schema_name,
       resource_attributes:"snow.table.name" table_name,
       resource_attributes:"snow.catalog.integration.name" catalog_integration_name,
       record_attributes:"snow.snapshot.id" snapshot_id,
       parse_json(value):metadata_file_location metadata_file_location,
       parse_json(value):snapshot_state snapshot_state
  FROM my_active_event_table
  WHERE record_type='EVENT' AND event_name='iceberg_auto_refresh_snapshot_lifecycle';

+-------------+-----------------------------------------+-----------+---------------+-------------+------------+--------------------------+---------------+------------------------+----------------+
| RECORD_TYPE | EVENT_NAME                              | LOG_LEVEL | DATABASE_NAME | SCHEMA_NAME | TABLE_NAME | CATALOG_INTEGRATION_NAME | SNAPSHOT_ID   | METADATA_FILE_LOCATION | SNAPSHOT_STATE |
+-------------+-----------------------------------------+-----------+---------------+-------------+------------+--------------------------+---------------+------------------------+----------------+
| EVENT       | iceberg_auto_refresh_snapshot_lifecycle | DEBUG     | TESTDB        | TESTSH      | TESTTABLE  | glue_integration         | 4281775564368 | metadata.json          | started        |
| EVENT       | iceberg_auto_refresh_snapshot_lifecycle | DEBUG     | TESTDB        | TESTSH      | TESTTABLE  | glue_integration         | 4281775564368 | metadata.json          | completed      |
+-------------+-----------------------------------------+-----------+---------------+-------------+------------+--------------------------+---------------+------------------------+----------------+

오류 복구¶

자동 새로 고침 프로세스 중에 오류가 발생하면 Snowflake는 실행 상태를 다음 값 중 하나로 업데이트합니다.

• STALLED 는 Snowflake가 오류를 복구하려고 시도 중임을 의미합니다. 복구에 성공하면 자동 새로 고침 프로세스가 예상대로 계속 실행되고 실행 상태가 정상 RUNNING 상태로 다시 전환됩니다.

• STOPPED 는 자동 새로 고침 프로세스에서 복구할 수 없는 오류가 발생하여 테이블에 대한 자동 새로 고침이 중지되었음을 의미합니다.

  예를 들어 Snowflake가 대상 스냅샷과 현재 스냅샷 사이에 직접적인 계보를 설정할 수 없는 경우 복구할 수 없는 오류가 발생할 수 있습니다.

  STOPPED 상태에서 복구하려면 다음 작업을 수행합니다.

  1. 테이블에서 자동 새로 고침을 끕니다.

  2. 수동으로 메타데이터 새로 고침을 수행합니다. 자세한 지침은 테이블 메타데이터 새로 고침 섹션을 참조하십시오.

  3. ALTER ICEBERG TABLE … SET AUTO_REFRESH 문을 사용하여 자동 새로 고침을 다시 활성화합니다.

  4. SYSTEM$AUTO_REFRESH_STATUS 함수를 호출하여 자동 새로 고침이 RUNNING 상태인지 확인합니다. 함수를 여러 번 호출하여 큐에 대기 중인 스냅샷 수(pendingSnapshotCount)가 점차 줄어드는 것을 확인할 수도 있습니다.

청구¶

Snowflake는 Snowpipe를 사용하여 Iceberg 테이블을 자동으로 새로 고치므로 자동 새로 고침에 대한 요금은 Snowpipe에서 청구하는 요금과 동일한 청구서 항목에 표시됩니다. 자동 새로 고침을 모니터링하는 이벤트<label-tables_iceberg_auto_refresh_events>`를 사용해도 비용이 발생합니다. 자세한 내용은 :doc:/developer-guide/logging-tracing/logging-tracing-billing` 섹션을 참조하세요.

이 기능에는 Snowpipe 파일 요금이 부과되지 않습니다.

pipe_name 열에 Iceberg 테이블 이름이 표시되는 Account Usage PIPE_USAGE_HISTORY 뷰 를 확인하여 발생한 요금을 추정할 수 있습니다.

Delta 기반 Iceberg 테이블의 경우 자동 새로 고침 파이프는 NULL 파이프 이름을 표시합니다.

Iceberg 테이블 요금에 대한 자세한 내용은 Iceberg 테이블 청구 섹션을 참조하십시오.

고려 사항 및 제한 사항¶

자동 새로 고침을 사용하는 Iceberg 테이블로 작업하는 경우 다음 사항을 고려합니다.

• Snowflake 버전 8.22(또는 Delta 기반 테이블의 경우 9.2) 이전에 생성된 카탈로그 통합의 경우 해당 카탈로그 통합에 종속된 테이블에서 자동 새로 고침을 사용하려면 REFRESH_INTERVAL_SECONDS 매개 변수를 수동으로 설정해야 합니다. 자세한 지침은 ALTER CATALOG INTEGRATION … SET AUTO_REFRESH 섹션을 참조하십시오.

• 오브젝트 스토리지용 카탈로그 통합 의 경우, 자동 새로 고침은 TABLE_FORMAT = DELTA 와의 통합에서만 지원됩니다.

• 업데이트가 빈번한 테이블의 경우 폴링 간격(REFRESH_INTERVAL_SECONDS)을 짧게 사용하면 성능이 저하될 수 있습니다.