동적 테이블 성능 및 최적화¶
속도와 비용 효율성을 위해 동적 테이블을 최적화하고 모니터링하는 방법을 알아봅니다. 이 섹션에서는 기본 개념과 더 자세한 항목으로 연결되는 링크를 제공합니다.
동적 테이블 *성능*은 :doc:`동적 테이블 새로 고침 </user-guide/dynamic-tables-refresh>`이 얼마나 효율적으로 빠르게 완료되는지를 나타냅니다. 성능이 우수한 동적 테이블은 컴퓨팅 리소스를 과도하게 사용하지 않고도 :doc:`목표 지연 </user-guide/dynamic-tables-target-lag>`을 충족할 수 있을 만큼 빠르게 새로 고쳐집니다.
성능이 중요한 이유¶
- 데이터 최신성
사용자가 지정하는 :doc:`목표 지연 </user-guide/dynamic-tables-target-lag>`을 기반으로 한 동적 테이블 새로 고침은 소스 테이블 업데이트와 동적 테이블의 내용 간에 허용되는 최대 지연 시간입니다. 새로 고침이 너무 오래 걸리면 파이프라인이 최신성 요구 사항을 충족하지 못할 수 있습니다.
예를 들어, 새로 고침에 8분이 걸리는 목표 지연을 5분으로 설정하면 파이프라인이 필요한 최신성을 유지할 수 없다는 의미입니다.
- 비용 효율성
동적 테이블에는 크레딧을 사용하는 새로 고침을 위한 가상 웨어하우스가 필요합니다. 잘못 최적화된 동적 테이블은 필요한 수보다 더 많은 데이터를 스캔하거나, 증분으로 충분할 때 전체 새로 고침을 트리거하거나, 목표 지연 기간 내에 완료하기 위해 더 큰 웨어하우스가 필요할 수 있습니다.
이러한 비용에 대한 자세한 내용은 Understanding costs for dynamic tables 섹션을 참조하세요.
성능 결정¶
동적 테이블 성능에 영향을 미치는 변경 사항은 변경할 수 있는 *시기*에 따라 두 가지 카테고리로 나뉩니다.
설계 변경 사항 |
조정 |
|
|---|---|---|
시기: |
파이프라인을 생성하기 전. |
파이프라인이 실행된 후. |
영향 |
높음 |
Medium |
유연성 |
변경이 어려우며 테이블을 다시 생성해야 합니다. |
쉽게 변경할 수 있으며 테이블을 다시 생성할 필요가 없습니다. |
예 |
쿼리 구조, 새로 고침 모드, 파이프라인 설계. |
웨어하우스 크기, 클러스터링 키, 목표 지연. |
두 카테고리에 대한 자세한 지침은 동적 테이블 성능 최적화 섹션을 참조하세요.
시작하기¶
동적 테이블 성능 최적화를 시작하려면 실습 자습서를 사용해 봅니다.
- 자습서 SCD 유형 1 워크로드를 위한 동적 테이블 성능 최적화
동적 테이블 파이프라인에서 성능 병목 현상을 식별하고 해결하는 방법을 알아봅니다. 이 자습서에서는 서로 다른 SQL 패턴이 증분 새로 고침에 영향을 미치는 방법 및
QUALIFY절을 사용하여 중복 행을 효율적으로 제거하는 방법을 보여줍니다.
이 섹션의 항목¶
- 동적 테이블 성능 모니터링
새로 고침 성능을 모니터링하고, 쿼리 프로필을 분석하고, 주요 메트릭을 추적하는 방법.
- 동적 테이블 성능 최적화
주요 개념 및 최적화 기법: 새로 고침 모드, 데이터 지역성, 웨어하우스 크기 조정, 목표 지연, 쿼리 패턴, 클러스터링.
- 증분 새로 고침을 위한 쿼리 최적화
SQL 연산자가 증분 새로 고침에 미치는 영향에 대한 성능 가이드.
- 불변성 제약 조건 사용
불변성 제약 조건을 사용하여 과거 데이터를 변경되지 않는 데이터로 표시하고 새로 고침 범위를 줄이는 방법.