동적 테이블 만들기¶

Iceberg 테이블 사용에 대한 제한 사항 및 고려 사항¶

일반 동적 테이블 및 :ref:`동적 Iceberg 테이블<label-dynamic_tables_tasks_create_iceberg_limitations>`에 대한 모든 제한 사항은 계속 적용됩니다.

추가로 다음 사항이 적용됩니다.

• Iceberg 기본 테이블에 대한 모든 제한 사항이 적용됩니다. 자세한 내용은 고려 사항 및 제한 사항 섹션을 참조하십시오.

• Snowflake 네이티브 테이블, Snowflake 관리형 Iceberg 테이블, 외부 관리형 Iceberg 테이블에서 읽는 동적 테이블을 생성할 수 있습니다.

• 행 수준에서 변경 사항을 추적하는 다른 기본 테이블과 달리 동적 테이블은 외부 관리형 Iceberg 기본 테이블의 경우 파일 수준에서 변경 사항을 추적합니다. 외부 관리형 Iceberg 테이블에서 빈번한 작성 시 복사 작업(예: 업데이트 또는 삭제)은 증분 새로 고침의 성능에 영향을 줄 수 있습니다.

불변성 제약 조건 사용의 예¶

다음 예시에서는 동적 테이블을 만들고 IMMUTABLEWHERE 매개 변수를 사용하여 변경 불가능한 테이블로 설정합니다.

CREATE DYNAMIC TABLE my_dynamic_table (id1 INT)
  TARGET_LAG = '20 minutes'
  WAREHOUSE = mywh
  IMMUTABLE WHERE ( <expr> )
  AS
    SELECT id AS id1 FROM staging_table;

IMMUTABLE WHERE 조건에서 참조되는 열은 기본 테이블의 열이 아니라 동적 테이블의 열이어야 합니다. 예를 들어, 위 예시의 IMMUTABLE WHERE 표현식은 :code:`id`가 아닌 :code:`id1`만 사용할 수 있습니다.

동적 테이블에는 단일 IMMUTABLE WHERE 조건만 설정할 수 있습니다. 기존 조건자를 바꾸려면 다음 예시에서와 같이 ALTER DYNAMIC TABLE 명령을 사용합니다.

-- Set or replace an existing predicate:
ALTER DYNAMIC TABLE my_dynamic_table SET IMMUTABLE WHERE ( <expr> );

-- Remove an existing predicate:
ALTER DYNAMIC TABLE my_dynamic_table UNSET IMMUTABLE;

동적 테이블의 불변성 제약 조건을 확인하려면 SHOW DYNAMIC TABLES 명령을 실행합니다. immutable_where 열은 테이블에 설정된 IMMUTABLE WHERE 제약 조건을 표시하거나 아무것도 설정되지 않은 경우 NULL을 표시합니다.

컴퓨팅 비용에 대한 자세한 내용은 불변성 제약 조건에 대한 비용 계산 섹션을 참조하세요.

CREATE DYNAMIC TABLE joined_data
  TARGET_LAG = '1 minute'
  WAREHOUSE = mywh
  IMMUTABLE WHERE (timestamp_col < CURRENT_TIMESTAMP() - INTERVAL '1 day')
  AS
    SELECT F.primary_key primary_key, F.timestamp_col timestamp_col, D.value dim_value
    FROM fact_table F
    LEFT OUTER JOIN dimension_table D USING (primary_key);

CREATE TABLE staging_data (raw TEXT, ts TIMESTAMP);

CREATE DYNAMIC TABLE parsed_data
  TARGET_LAG = '1 minute'
  WAREHOUSE = mywh
  IMMUTABLE WHERE (ts < CURRENT_TIMESTAMP() - INTERVAL '7 days')
  AS
    SELECT parse_json(raw):event_id::string event_id, parse_json(raw):name::string name, parse_json(raw):region::string region, ts
    FROM staging_data WHERE region = 'US';

-- Delete old staging data using Task
CREATE TASK delete_old_staging_data
  WAREHOUSE = mywh
  SCHEDULE = '24 hours'
  AS
    DELETE FROM staging_data WHERE ts < CURRENT_TIMESTAMP() - INTERVAL '30 days';

CREATE FUNCTION my_udtf(x varchar)
  RETURNS TABLE (output VARCHAR)
  LANGUAGE PYTHON
  AS $$ ... $$;

CREATE DYNAMIC TABLE udtf_dt
  TARGET_LAG = '1 hour'
  WAREHOUSE = mywh
  REFRESH_MODE = FULL
  IMMUTABLE WHERE (ts < current_timestamp() - interval '1 day')
  AS
    SELECT ts, data, output, join_key FROM input_table, TABLE(my_udtf(data));

CREATE DYNAMIC TABLE incremental_join_dt
  TARGET_LAG = '1 hour'
  WAREHOUSE = mywh
  REFRESH_MODE = INCREMENTAL
  IMMUTABLE WHERE (ts < current_timestamp() - interval '1 day')
  AS
    SELECT * FROM udtf_dt JOIN dim_table USING (join_key);

불변성 제약 조건 설정 시 제한 사항 및 고려 사항¶

모든 :doc:`일반 동적 테이블의 제한 사항</user-guide/dynamic-tables-limitations>`은 계속 ​​적용됩니다.

추가로 다음 사항이 적용됩니다.

• 동적 테이블에는 단일 IMMUTABLE WHERE 조건자만 있을 수 있습니다. ALTER DYNAMIC TABLE … SET IMMUTABLE WHERE 명령으로 다른 조건자를 설정하면 기존 조건자가 대체됩니다.

• IMMUTABLE WHERE 제약 조건에는 다음 항목을 포함할 수 없습니다.

  • 하위 쿼리.

  • CURRENT_TIMESTAMP() 또는 CURRENT_DATE()와 같은 타임스탬프 함수를 제외한 비결정적 함수. 타임스탬프 함수를 사용하는 경우 변경 불가능한 리전이 시간이 지남에 따라 증가하도록 함수를 사용해야 합니다. 예를 들어, TIMESTAMP_COL < CURRENT_TIMESTAMP()는 허용되지만 TIMESTAMP_COL > CURRENT_TIMESTAMP()는 허용되지 않습니다.

  • 사용자 정의 함수 또는 외부 함수.

  • 메타데이터 열(예: :code:`METADATA$`로 시작하는 열).

  • 집계, 윈도우 함수 또는 비결정적 함수의 결과로 생성된 열 또는 윈도우 함수 연산자를 통해 전달되는 열. 다음 동적 테이블에서는 IMMUTABLE WHERE 조건자에 :code:`col3`만 사용할 수 있습니다.

    CREATE DYNAMIC TABLE aggregates TARGET_LAG = '1 minute' WAREHOUSE = mywh
      AS SELECT col1, SUM(col2) AS col2 FROM input_table
      GROUP BY col3;
    
    CREATE DYNAMIC TABLE window_fns TARGET_LAG = '1 minute' WAREHOUSE = mywh
      AS SELECT col3, SUM(col4) OVER (PARTITION BY col3 ORDER BY col4) AS col2, col5 FROM input_table;
    

    Copy

IMMUTABLE WHERE 제약 조건은 복제 시 제한 없이 복사됩니다.

백필 사용의 예¶

다음 예시에서는 백필된 데이터가 있는 테이블에서 새 동적 테이블을 만드는 방법을 보여줍니다.

각 열 이름은 호환되는 데이터 타입이 있는 백필 테이블에서 확인해야 하며 백필 테이블과 동일한 순서로 나타나야 합니다. 백필 테이블의 테이블 속성 및 권한은 복사되지 않습니다.

Time Travel 매개 변수인 :code:`AT | BEFORE`가 지정되면 백필 테이블의 데이터가 지정된 시간에 복사됩니다.

CREATE DYNAMIC TABLE my_dynamic_table (day TIMESTAMP, totalSales NUMBER)
  IMMUTABLE WHERE (day < '2025-01-01')
  BACKFILL FROM my_backfill_table
  TARGET_LAG = '20 minutes'
  WAREHOUSE = 'mywh'
  AS SELECT DATE_TRUNC('day', ts) AS day, sum(price)
    FROM my_base_table
    GROUP BY day;

CREATE OR REPLACE TABLE sales(item_id INT, ts TIMESTAMP, sales_price FLOAT);

INSERT INTO sales VALUES (1, '2025-05-01 01:00:00', 10.0), (1, '2025-05-01 02:00:00', 15.0), (1, '2025-05-01 03:00:00', 11.0);
INSERT INTO sales VALUES (1, '2025-05-02 00:00:00', 11.0), (1, '2025-05-02 05:00:00', 13.0);


CREATE DYNAMIC TABLE my_dynamic_table
  TARGET_LAG = 'DOWNSTREAM'
  WAREHOUSE = mywh
  INITIALIZE = on_create
  IMMUTABLE WHERE (day <= '2025-05-01')
  AS
    SELECT item_id, date_trunc('DAY', ts) day, count(sales_price) AS sales_count FROM sales
    GROUP BY item_id, day;

SELECT item_id, to_char(day, 'YYYY-MM-DD') AS day, sales_count FROM my_dynamic_table;

+---------+------------+-------------+
| ITEM_ID | DAY        | SALES_COUNT |
|---------+------------+-------------|
| 1       | 2025-05-01 | 3           |
| 1       | 2025-05-02 | 2           |
|---------+-------------+------------|

DELETE FROM sales WHERE ts < '2025-05-02';

ALTER DYNAMIC TABLE my_dynamic_table REFRESH;

SELECT item_id, to_char(day, 'YYYY-MM-DD') AS day, sales_count FROM my_dynamic_table;

백필된 데이터로 동적 테이블 생성 시 제한 사항 및 고려 사항¶

모든 일반 동적 테이블의 제한 사항 및 :ref:`불변성 제약 조건의 제한 사항<label-dts_immutability_constraints_limitations>`은 계속 적용됩니다.

다음과 같은 추가 제한 사항 및 고려 사항이 적용됩니다.

• 현재는 일반 테이블만 백필에 사용할 수 있습니다.

• 정책이나 태그는 백필 테이블에서 복사되므로 새 동적 테이블에서 지정할 수 없습니다.

• 새 동적 테이블과 백필 테이블의 클러스터링 키는 동일해야 합니다.

동적 테이블의 파이프라인 연결¶

새로운 동적 테이블을 정의할 때는 많은 중첩된 명령이 있는 대규모 동적 테이블을 정의하는 대신 파이프라인이 있는 작은 동적 테이블을 사용합니다.

동적 테이블을 설정하여 다른 동적 테이블을 쿼리할 수 있습니다. 예를 들어, 데이터 파이프라인이 스테이징 테이블에서 데이터를 추출하여 다양한 차원 테이블(예: customer, product, date, time)을 업데이트하는 시나리오를 가정해 보겠습니다. 또한 파이프라인은 이러한 차원 테이블의 정보를 기반으로 집계 sales 테이블을 업데이트합니다. 차원 테이블이 스테이징 테이블을 쿼리하도록 구성하고, 집계 sales 테이블이 차원 테이블을 쿼리하도록 구성하면 작업 그래프와 유사한 계단식 효과를 만들 수 있습니다.

이 설정에서 집계 sales 테이블에 대한 새로 고침은 차원 테이블에 대한 새로 고침이 완료된 후에만 실행됩니다. 이를 통해 데이터 일관성을 보장하고 지연 목표를 달성할 수 있습니다. 자동화된 새로 고침 프로세스를 통해 소스 테이블이 변경되면 적절한 시간에 모든 종속 테이블에서 새로 고침이 트리거됩니다.

복잡한 작업 그래프에 “컨트롤러” 동적 테이블 사용¶

많은 루트와 리프가 있는 동적 테이블의 복잡한 그래프가 있고 단일 명령으로 전체 작업 그래프에서 작업(예: 지연 변경, 수동 새로 고침, 일시 중단)을 수행하려면 다음을 수행합니다.

1. 모든 동적 테이블의 TARGET_LAG 값을 DOWNSTREAM 으로 설정합니다.

2. 작업 그래프의 모든 리프에서 읽는 “컨트롤러” 동적 테이블을 만듭니다. 이 컨트롤러가 리소스를 소모하지 않도록 하려면 다음을 수행합니다.

   CREATE DYNAMIC TABLE controller
     TARGET_LAG = <target_lag>
     WAREHOUSE = <warehouse>
     AS
       SELECT 1 A FROM <leaf1>, …, <leafN> LIMIT 0;
   

   Copy

3. 컨트롤러를 사용하여 전체 그래프를 제어합니다. 예:

• 작업 그래프에 대한 새로운 목표 지연을 설정합니다.

  ALTER DYNAMIC TABLE controller SET
    TARGET_LAG = <new_target_lag>;
  

  Copy

• 작업 그래프를 수동으로 새로 고칩니다.

  ALTER DYNAMIC TABLE controller REFRESH;
  

  Copy

일시적 동적 테이블을 사용하여 저장소 비용 절감¶

일시적 동적 테이블은 시간이 지나도 데이터를 안정적으로 유지하고 데이터 보존 기간 내에서 Time Travel을 지원하지만, Fail-safe 기간 이후에는 데이터를 보존하지 않습니다. 기본적으로 동적 테이블 데이터는 fail-safe 저장소에 7일 동안 보관됩니다.

새로 고침 처리량이 높은 동적 테이블의 경우 저장소 사용량이 크게 늘어날 수 있습니다. 따라서 동적 테이블은 영구 테이블에서 제공하는 것과 동일한 수준의 데이터 보호 및 복구가 필요하지 않은 경우에만 일시적 테이블로 설정해야 합니다.

CREATE DYNAMIC TABLE 문을 사용하여 일시적 동적 테이블을 만들거나 기존 동적 테이블을 일시적 동적 테이블로 복제할 수 있습니다.