동적 테이블 새로 고침 이해하기¶

동적 테이블 새로 고침 모드¶

동적 테이블 새로 고침 프로세스는 다음 두 가지 방식 중 하나로 작동합니다.

1. 증분 새로 고침: 이 자동화된 프로세스에서는 동적 테이블의 쿼리를 분석하고 마지막 새로 고침 이후의 변경 사항을 계산합니다. 그런 다음 이러한 변경 사항을 테이블에 병합합니다. 지원되는 쿼리에 대한 자세한 내용은 증분 새로 고침에서 지원되는 쿼리 섹션을 참조하십시오.

2. 전체 새로 고침: 자동화된 프로세스가 증분 새로 고침을 수행할 수 없는 경우 전체 새로 고침을 수행합니다. 여기에는 동적 테이블에 대한 쿼리를 실행하고 이전에 구체화된 결과를 완전히 바꾸는 작업이 포함됩니다.

쿼리에 사용된 구문에 따라 증분 새로 고침을 사용할 수 있는지 결정됩니다. 동적 테이블을 만든 후 테이블을 모니터링 하여 증분 또는 전체 새로 고침이 해당 테이블을 업데이트하는 데 사용되는지 여부를 결정할 수 있습니다.

목표 지연 이해하기¶

동적 테이블 새로 고침은 데이터가 얼마나 오래되었는지, 즉 일반적으로 목표 지연 이라고 하는 시간에 따라 트리거됩니다. 동적 테이블의 목표 지연은 바로 위쪽의 동적 테이블이 아니라 그래프의 루트에 있는 기본 테이블을 기준으로 측정됩니다. Snowflake 일정은 동적 테이블의 실제 지연을 목표 지연보다 낮게 유지하도록 새로 고침을 예약합니다. 각 새로 고침의 기간은 쿼리, 데이터 패턴, 웨어하우스 크기에 따라 달라집니다. 목표 지연을 선택할 때는 체인의 각 동적 테이블 을 루트까지 새로 고치는 데 필요한 시간을 고려하십시오. 그렇지 않으면 일부 새로 고침을 건너뛰어 실제 지연이 더 커질 수 있습니다.

동적 테이블에 연결된 테이블의 그래프를 보려면 Snowsight를 사용하여 동적 테이블의 그래프 조사하기 섹션을 참조하십시오.

목표 지연은 다음 중 한 가지 방법으로 지정됩니다.

1. 최신성 척도: 동적 테이블의 콘텐츠가 기본 테이블에 대한 업데이트보다 지연되어야 하는 최대 시간을 정의합니다.

   다음 예제에서는 product 동적 테이블을 매시간 새로 고치고 최신성을 유지하도록 설정합니다.

   ALTER DYNAMIC TABLE product SET TARGET_LAG = '1 hour';
   

   Copy

2. 다운스트림: 다른 종속 동적 테이블이 새로 고쳐질 때 동적 테이블을 필요에 따라 새로 고치도록 지정합니다. 이 새로 고침은 다운스트림 동적 테이블의 수동 또는 예약된 새로 고침을 통해 트리거될 수 있습니다.

   다음 예제에서 product 는 다른 동적 테이블을 기반으로 하며 다운스트림 동적 테이블의 목표 지연에 따라 새로 고침되도록 설정되어 있습니다.

   ALTER DYNAMIC TABLE product SET TARGET_LAG = DOWNSTREAM;
   

   Copy

목표 지연은 동적 테이블의 새로 고침 빈도에 반비례하며, 자주 새로 고칠수록 지연이 줄어듭니다.

동적 테이블 1(DT1)을 기반으로 동적 테이블 2(DT2)를 정의하는 다음 예를 살펴보십시오. DT2는 DT1에서 읽어 그 내용을 구체화해야 합니다. 또한 보고서는 쿼리를 통해 DT2 데이터를 사용합니다.

각각의 동적 테이블이 지연을 지정하는 방식에 따라 다음 결과가 가능합니다.

증분 새로 고침에서 지원되는 쿼리¶

다음 표에는 현재 증분 새로 고침을 지원하는 식, 키워드, 절에 대해 설명되어 있습니다. 증분 새로 고침을 지원하지 않는 쿼리 목록은 증분 새로 고침 지원 제한 사항 을 참조하십시오.

현재 증분 새로 고침에서는 래터럴 조인이 지원되지 않습니다. 하지만 새로 고침 모드를 INCREMENTAL 로 설정하여 LATERAL을 FLATTEN() 과 함께 사용할 수 있습니다.

예:

CREATE TABLE persons
  AS
    SELECT column1 AS id, parse_json(column2) AS entity
    FROM values
      (12712555,
      '{ name:  { first: "John", last: "Smith"},
        contact: [
        { business:[
          { type: "phone", content:"555-1234" },
          { type: "email", content:"j.smith@company.com" } ] } ] }'),
      (98127771,
      '{ name:  { first: "Jane", last: "Doe"},
        contact: [
        { business:[
          { type: "phone", content:"555-1236" },
          { type: "email", content:"j.doe@company.com" } ] } ] }') v;

CREATE DYNAMIC TABLE example
  TARGET_LAG = DOWNSTREAM
  WAREHOUSE = mywh
  REFRESH_MODE = INCREMENTAL
  AS
    SELECT p.id, f.value, f.path
    FROM persons p,
    LATERAL FLATTEN(input => p.entity) f;

연산자의 증분 새로 고침 방법¶

다음 테이블에는 각 연산자가 증분되는 방식(즉, 전체 결과 대신 변경 사항을 생성하는 새로운 쿼리 조각으로 변환되는 방식)과 성능 및 기타 고려해야 할 중요한 요소가 간략하게 설명되어 있습니다.

CREATE DYNAMIC TABLE sums
  AS
    SELECT date_trunc(minute, ts), sum(c1) FROM table
    GROUP BY 1;

CREATE DYNAMIC TABLE intermediate
  AS
    SELECT date_trunc(minute, ts) ts_min, c1 FROM table;

CREATE DYNAMIC TABLE sums
  AS
    SELECT ts_min, sum(c1) FROM intermediate
    GROUP BY 1;

전체 새로 고침에서 지원되는 비결정 함수¶

다음의 비결정적 함수가 동적 테이블에서 지원됩니다. 이러한 함수은 전체 새로 고침에만 지원됩니다. 증분 새로 고침이 지원되지 않는 목록은 증분 새로 고침 지원 제한 사항 을 참조하십시오.

• VOLATILE 사용자 정의 함수

• 시퀀스 함수 (예: SEQ1, SEQ2)

• 다음 컨텍스트 함수:

  • CURRENT_ROLE

  • CURRENT_WAREHOUSE

  • CURRENT_ACCOUNT

  • CURRENT_REGION

• 다음 날짜 및 시간 함수(각각의 별칭 포함):

  • CURRENT_DATE

  • CURRENT_TIME

  • CURRENT_TIMESTAMP

동적 테이블이 다른 동적 테이블에 종속될 때 데이터를 새로 고치는 방법¶

동적 테이블 지연이 시간 척도로 지정된 경우 자동 새로 고침 프로세스에서는 동적 테이블의 목표 지연 시간을 기준으로 새로 고침 일정을 결정합니다. 이 프로세스에서는 테이블의 목표 지연 시간에 가장 적합한 일정을 선택합니다.

한 동적 테이블이 다른 동적 테이블에 종속된 경우에 데이터 일관성을 유지하기 위해, 프로세스에서는 호환 가능한 시간에 계정의 모든 동적 테이블을 새로 고칩니다. 덜 자주 새로 고치는 타이밍이 더 자주 새로 고치는 타이밍과 일치합니다.

예를 들어 동적 테이블 A는 목표 지연 시간이 2분이고 목표 지연 시간이 1분인 동적 테이블 B를 쿼리한다고 가정합니다. 이 프로세스에서는 A를 96초마다, B를 48초마다 새로 고쳐야 한다고 결정할 수 있습니다. 결과적으로, 프로세스에서 다음 일정을 적용할 수 있습니다.

이는 주어진 시간에 서로 종속된 일련의 동적 테이블을 쿼리할 때 이들 테이블 전체에서 데이터의 동일한 “스냅샷”을 쿼리하고 있다는 의미입니다.

동적 테이블의 목표 지연 시간은 이 테이블이 종속된 동적 테이블의 목표 지연 시간보다 짧을 수 없습니다. 예를 들어 다음과 같이 가정합니다.

• 동적 테이블 A는 동적 테이블 B와 C를 쿼리합니다.

• 동적 테이블 B의 목표 지연 시간은 5분입니다.

• 동적 테이블 C의 목표 지연 시간은 1분입니다.

이는 A의 목표 지연 시간이 5분보다 짧으면 안 된다는 뜻입니다(즉, B와 C의 지연 시간 중 더 긴 시간보다 짧지 않아야 함).

A에 대한 지연을 5분으로 설정하면 프로세스에서 이러한 다음과 같은 목표로 새로 고침 일정을 설정합니다.

• 지연 시간이 1분 미만으로 유지하기에 충분할 만큼 자주 C를 새로 고칩니다.

• A와 B를 함께, 그리고 지연 시간을 5분 미만으로 유지하기에 충분할 만큼 자주 새로 고칩니다.

• 스냅샷 격리를 보장하기 위해 A와 B의 새로 고침이 C의 새로 고침과 일치하도록 합니다.

참고: 새로 고침이 너무 오래 걸리면 스케줄러가 최신 상태를 유지하려고 새로 고침을 건너뛸 수도 있습니다. 하지만 스냅샷 격리는 유지됩니다.