새로 고침 모드가 동적 테이블 성능에 미치는 영향¶

증분 새로 고침 성능 이해하기¶

증분 새로 고침에서는 일반적으로 동적 테이블의 변경 사항을 계산하는 데 대부분의 작업이 수행됩니다. 이는 쿼리에 따라 달라지며 매우 복잡할 수 있습니다. 증분 새로 고침은 원본 테이블 자체는 스캔하지 않고 원본 테이블의 변경 사항만 스캔한다는 오해가 많습니다. 이로 인해 증분 새로 고침은 변경된 원본 데이터의 양에 비례해서만 작업을 수행해야 한다는 오해가 생길 수 있는데, 이는 사실이 아닙니다. 실제로 증분 새로 고침에서는 종종 원본 테이블을 직접 스캔해야 합니다.

예를 들어, 테이블 A와 B 사이에 내부 조인을 수행하는 쿼리를 상상해 보십시오. 행이 테이블 A에 삽입되면 쿼리의 변경 사항을 계산하기 위해 테이블 B와 조인해야 합니다. A의 단일 행을 B의 여러 행과 결합할 수 있는데, 이는 소스에 약간의 변경 사항만이 있더라도 많은 작업이 필요하다는 것을 의미합니다.

이러한 추가 작업은 다양한 연산자에게서 발생할 수 있습니다. 증분 새로 고침은 새로운 데이터를 처리하고 이미 완료된 작업을 건너뜁니다. 특히 복잡한 쿼리의 경우 건너뛸 항목을 결정하는 데 추가 작업이 필요할 수 있으며, 작업자마다 다른 방식으로 작업을 건너뛸 수 있습니다.

일반적으로 변경 사항의 크기와 지역성에 따라 건너뛸 수 있는 작업의 양이 달라집니다.

크기가 증분 새로 고침 성능에 미치는 영향¶

증분 새로 고침 성능에 영향을 미치는 가장 중요한 요소는 원본 데이터의 변경 크기입니다. 동적 테이블 새로 고침에 대한 변경 크기를 결정할 때 복사된 행도 계산에 포함해야 합니다. 마이크로 파티션의 일부 행을 변경하는 DML은 해당 마이크로 파티션의 변경되지 않은 행도 새 마이크로 파티션으로 복사합니다.

변경된 행의 수를 분석하려면 기본 테이블에서 마지막 새로 고침 시점의 기본 테이블에 스트림을 생성 하고 SYSTEM$STREAM_BACKLOG 를 사용합니다. 예:

CREATE STREAM mystream ON TABLE mybasetable BEFORE(STATEMENT => 'last refresh UUID');

SELECT * FROM SYSTEM$STREAM_BACKLOG('mystream');

극단적인 예로, 소스에서 모든 데이터를 삭제하는 효과를 생각해 보십시오. 전체 새로 고침을 하면 빈 테이블만 표시되므로 매우 빠르게 처리할 수 있습니다. 반면, 증분 새로 고침은 삭제된 행을 모두 처리해야 하므로 훨씬 느립니다.

덜 극단적인 경우에도 유사한 속도 저하가 발생할 수 있습니다. 워크로드를 줄이기 위한 좋은 지침은 원본 또는 대상의 변경 사항을 행의 5% 미만으로 유지하는 것입니다.

지역성이 증분 새로 고침 성능에 미치는 영향¶

증분 새로 고침에 영향을 미치는 두 번째로 중요한 요소는 지역성 으로, 이는 데이터 또는 작업이 서로 다른 차원에서 얼마나 밀접하게 관련되어 있는지를 나타냅니다.

예를 들어, 타임스탬프 열이 있는 테이블이 있고 해당 열에 항상 현재 시간이 있는 행을 삽입하는 경우, 워크로드는 삽입 순서와 타임스탬프 열 사이에 강한 지역성을 갖습니다.

지역성은 다양한 형태로 나타날 수 있지만, 특히 증분 새로 고침에 중요한 몇 가지가 있습니다. 다음 영역 중 하나라도 지역성을 개선하면 점진적 새로 고침의 성능이 향상되지만, 세 가지 카테고리 모두에서 강력한 지역성을 갖는 것이 항상 가능한 것은 아닙니다.

개별 연산자의 증분 새로 고침에 대한 성능 기대치¶

다음 테이블은 개별 연산자의 증분 새로 고침에 대한 대략적인 성능 기대치를 보여줍니다. 성능은 행의 5%만 변경되고 새로 고침 작업이 1분 이상 걸린다는 가정 하에 전체 새로 고침을 기준으로 측정됩니다.

지역성의 영향을 받는 연산자의 경우, 이 테이블에는 지역성이 좋은 경우와 좋지 않은 경우의 예상 성능이 표시됩니다. 일부 연산자의 경우 지역성이 좋지 않으면 전체 새로 고침보다 성능이 저하될 수 있습니다.

자세한 내용은 연산자의 증분 새로 고침 방법 섹션을 참조하십시오.

복잡한 동적 테이블에 대한 증분 새로 고침 모드 성능 최적화¶

일반적으로 동적 테이블에는 여러 연산자가 포함되어 있어 증분 새로 고침으로 인해 성능을 예측하기가 어렵습니다. 이 섹션에서는 이런 문제를 처리하는 방법을 살펴보고 복잡한 동적 테이블의 성능을 향상하기 위한 몇 가지 팁을 제공합니다.

여러 연산자가 관련된 경우 증분 새로 고침은 각 연산자에 대해 개별적으로 작업하여 변경 사항을 계산하고, 입력에 따라 변경 사항을 계산할 수 있는 쿼리 계획의 조각으로 전환합니다. 각 입력에 대해 이 증분 새로 고침은 변경 전, 변경 후 또는 변경 자체에 대한 입력을 요청할 수 있습니다. 원래 쿼리의 모든 연산자에 이 프로세스를 적용하면 변경 스캔과 전체 테이블 스캔을 혼합하여 변경 사항을 계산하는 새로운 쿼리 계획을 얻을 수 있습니다. 이 계획은 Snowflake의 쿼리 최적화 프로그램에 의해 최적화되고 다른 쿼리와 마찬가지로 실행됩니다.

증분 새로 고침의 성능이 좋지 않은 경우는 일반적으로 변경 사항이 너무 많거나 지역성이 좋지 않기 때문입니다. 복잡한 쿼리로 인해 이러한 문제를 파악하는 것이 더욱 어려워집니다. 증분 연산자의 성능은 일반적으로 변경의 양과 입력의 지역성에 따라 달라집니다. 그러나 이러한 입력은 다른 연산자의 출력이므로 연산자를 이동하면서 데이터의 양과 지역성이 달라질 수 있습니다.

따라서 복잡한 증분 새로 고침의 성능을 이해하려면 각 연산자의 입력을 별도로 고려해야 합니다. 다음은 몇 가지 일반적인 시나리오와 이를 해결하기 위한 제안 사항입니다.