클러스터링 키 및 클러스터링된 테이블¶

재클러스터링의 크레딧 및 저장소 영향¶

Snowflake의 모든 DML 작업과 마찬가지로 재클러스터링은 크레딧을 소모합니다. 소비된 크레딧 수는 테이블 크기와 재클러스터링해야 하는 데이터 양에 따라 다릅니다.

재클러스터링하면 저장소 비용도 발생하게 됩니다. 데이터가 재클러스터링될 때마다 행은 테이블의 클러스터링 키에 따라 물리적으로 그룹화되어 Snowflake가 테이블에 대한 새 마이크로 파티션을 생성합니다. 테이블에 적은 수의 행을 추가해도 해당 값을 포함하는 모든 마이크로 파티션이 다시 생성될 수 있습니다.

이 프로세스는 원본 마이크로 파티션이 삭제된 것으로 표시되지만 Time Travel 및 Fail-safe를 활성화하기 위해 시스템에 유지되기 때문에 높은 데이터 회전율이 나타날 수 있습니다. 원래 마이크로 파티션은 Time Travel 보존 기간과 이후의 Fail-safe 기간이 모두 경과된 이후에만 제거됩니다(즉, Snowflake Enterprise Edition 이상 사용 시 확장된 Time Travel의 경우 최소 8일 및 최대 97일). 일반적으로는 이를 통해 저장소 비용이 증가하게 됩니다. 자세한 내용은 Snowflake Time Travel & Fail-safe 섹션을 참조하십시오.

재클러스터링 예¶

이전 항목의 클러스터링 다이어그램 을 기반으로 하는 이 다이어그램은 테이블 재클러스터링을 통해 마이크로 파티션 스캔을 감소되어 쿼리 성능을 향상되는 방법을 보여줍니다.

• 시작하려면, 테이블 t1 이 마이크로 파티션 1~4에서 date 를 기준으로 자연스럽게 클러스터링됩니다.

• 쿼리(다이어그램에서)는 마이크로 파티션 1, 2, 3을 스캔해야 합니다.

• date 및 type 는 클러스터링 키로 정의됩니다. 테이블이 재클러스터링되면 새 마이크로 파티션(5~8)이 생성됩니다.

• 재클러스터링 후 동일한 쿼리는 마이크로 파티션 5만 스캔합니다.

또한 재클러스터링 후:

• 마이크로 파티션 5는 일정한 상태 (즉, 재클러스터링을 통해 향상할 수 없음)에 도달했으므로 향후 유지 관리를 위해 깊이와 겹침을 계산할 때 제외됩니다. 우수하게 클러스터링된 대규모 테이블에서 대부분의 마이크로 파티션은 이 카테고리에 속합니다.

• 원래 마이크로 파티션(1~4)은 삭제된 것으로 표시되지만 시스템에서 제거되지는 않으며, Time Travel 및 Fail-safe 를 위해 유지됩니다.

테이블에 대한 클러스터링 정보 계산하기¶

시스템 함수 SYSTEM$CLUSTERING_INFORMATION 를 사용하여 주어진 테이블에 대한 클러스터링 깊이를 포함한 클러스터링 세부 정보를 계산합니다. 이 함수는 테이블에 명시적 클러스터링 키가 있는지 여부에 관계없이 모든 테이블의 모든 열에서 실행할 수 있습니다.

• 테이블에 명시적 클러스터링 키가 있는 경우 함수에는 테이블 이름 이외의 입력 인자가 필요하지 않습니다.

• 테이블에 명시적 클러스터링 키가 없는 경우(또는 테이블에 클러스터링 키가 있지만 테이블의 다른 열에 대한 비율을 계산하려는 경우) 함수는 원하는 열을 추가 입력 인자로 사용합니다.

테이블에 대한 클러스터링 키 정의하기¶

클러스터링 키는 CREATE TABLE 에 CLUSTER BY 절을 추가하여 테이블을 생성할 때 정의할 수 있습니다.

CREATE TABLE <name> ... CLUSTER BY ( <expr1> [ , <expr2> ... ] )

각 클러스터링 키는 모든 데이터 타입이 될 수 있는 하나 이상의 테이블 열/식으로 구성되지만, 단, GEOGRAPHY, VARIANT, OBJECT 또는 ARRAY 타입은 제외됩니다. 클러스터링 키는 다음 중 하나를 포함할 수 있습니다.

• 기본 열

• 기본 열의 식입니다.

• VARIANT 열의 경로에 대한 식입니다.

예:

-- cluster by base columns
CREATE OR REPLACE TABLE t1 (c1 DATE, c2 STRING, c3 NUMBER) CLUSTER BY (c1, c2);

SHOW TABLES LIKE 't1';

+-------------------------------+------+---------------+-------------+-------+---------+----------------+------+-------+----------+----------------+----------------------+
| created_on                    | name | database_name | schema_name | kind  | comment | cluster_by     | rows | bytes | owner    | retention_time | automatic_clustering |
|-------------------------------+------+---------------+-------------+-------+---------+----------------+------+-------+----------+----------------+----------------------|
| 2019-06-20 12:06:07.517 -0700 | T1   | TESTDB        | PUBLIC      | TABLE |         | LINEAR(C1, C2) |    0 |     0 | SYSADMIN | 1              | ON                   |
+-------------------------------+------+---------------+-------------+-------+---------+----------------+------+-------+----------+----------------+----------------------+

-- cluster by expressions
CREATE OR REPLACE TABLE t2 (c1 timestamp, c2 STRING, c3 NUMBER) CLUSTER BY (TO_DATE(C1), substring(c2, 0, 10));

SHOW TABLES LIKE 't2';

+-------------------------------+------+---------------+-------------+-------+---------+------------------------------------------------+------+-------+----------+----------------+----------------------+
| created_on                    | name | database_name | schema_name | kind  | comment | cluster_by                                     | rows | bytes | owner    | retention_time | automatic_clustering |
|-------------------------------+------+---------------+-------------+-------+---------+------------------------------------------------+------+-------+----------+----------------+----------------------|
| 2019-06-20 12:07:51.307 -0700 | T2   | TESTDB        | PUBLIC      | TABLE |         | LINEAR(CAST(C1 AS DATE), SUBSTRING(C2, 0, 10)) |    0 |     0 | SYSADMIN | 1              | ON                   |
+-------------------------------+------+---------------+-------------+-------+---------+------------------------------------------------+------+-------+----------+----------------+----------------------+

-- cluster by paths in variant columns
CREATE OR REPLACE TABLE T3 (t timestamp, v variant) cluster by (v:"Data":id::number);

SHOW TABLES LIKE 'T3';

+-------------------------------+------+---------------+-------------+-------+---------+-------------------------------------------+------+-------+----------+----------------+----------------------+
| created_on                    | name | database_name | schema_name | kind  | comment | cluster_by                                | rows | bytes | owner    | retention_time | automatic_clustering |
|-------------------------------+------+---------------+-------------+-------+---------+-------------------------------------------+------+-------+----------+----------------+----------------------|
| 2019-06-20 16:30:11.330 -0700 | T3   | TESTDB        | PUBLIC      | TABLE |         | LINEAR(TO_NUMBER(GET_PATH(V, 'Data.id'))) |    0 |     0 | SYSADMIN | 1              | ON                   |
+-------------------------------+------+---------------+-------------+-------+---------+-------------------------------------------+------+-------+----------+----------------+----------------------+

Copy

테이블에 대한 클러스터링 키 변경하기¶

언제든지 ALTER TABLE 을 사용하여 기존 테이블에 클러스터링 키를 추가하거나 테이블의 기존 클러스터링 키를 변경할 수 있습니다.

ALTER TABLE <name> CLUSTER BY ( <expr1> [ , <expr2> ... ] )

예:

-- cluster by base columns
ALTER TABLE t1 CLUSTER BY (c1, c3);

SHOW TABLES LIKE 't1';

+-------------------------------+------+---------------+-------------+-------+---------+----------------+------+-------+----------+----------------+----------------------+
| created_on                    | name | database_name | schema_name | kind  | comment | cluster_by     | rows | bytes | owner    | retention_time | automatic_clustering |
|-------------------------------+------+---------------+-------------+-------+---------+----------------+------+-------+----------+----------------+----------------------|
| 2019-06-20 12:06:07.517 -0700 | T1   | TESTDB        | PUBLIC      | TABLE |         | LINEAR(C1, C3) |    0 |     0 | SYSADMIN | 1              | ON                   |
+-------------------------------+------+---------------+-------------+-------+---------+----------------+------+-------+----------+----------------+----------------------+

-- cluster by expressions
ALTER TABLE T2 CLUSTER BY (SUBSTRING(C2, 5, 15), TO_DATE(C1));

SHOW TABLES LIKE 't2';

+-------------------------------+------+---------------+-------------+-------+---------+------------------------------------------------+------+-------+----------+----------------+----------------------+
| created_on                    | name | database_name | schema_name | kind  | comment | cluster_by                                     | rows | bytes | owner    | retention_time | automatic_clustering |
|-------------------------------+------+---------------+-------------+-------+---------+------------------------------------------------+------+-------+----------+----------------+----------------------|
| 2019-06-20 12:07:51.307 -0700 | T2   | TESTDB        | PUBLIC      | TABLE |         | LINEAR(SUBSTRING(C2, 5, 15), CAST(C1 AS DATE)) |    0 |     0 | SYSADMIN | 1              | ON                   |
+-------------------------------+------+---------------+-------------+-------+---------+------------------------------------------------+------+-------+----------+----------------+----------------------+

-- cluster by paths in variant columns
ALTER TABLE T3 CLUSTER BY (v:"Data":name::string, v:"Data":id::number);

SHOW TABLES LIKE 'T3';

+-------------------------------+------+---------------+-------------+-------+---------+------------------------------------------------------------------------------+------+-------+----------+----------------+----------------------+
| created_on                    | name | database_name | schema_name | kind  | comment | cluster_by                                                                   | rows | bytes | owner    | retention_time | automatic_clustering |
|-------------------------------+------+---------------+-------------+-------+---------+------------------------------------------------------------------------------+------+-------+----------+----------------+----------------------|
| 2019-06-20 16:30:11.330 -0700 | T3   | TESTDB        | PUBLIC      | TABLE |         | LINEAR(TO_CHAR(GET_PATH(V, 'Data.name')), TO_NUMBER(GET_PATH(V, 'Data.id'))) |    0 |     0 | SYSADMIN | 1              | ON                   |
+-------------------------------+------+---------------+-------------+-------+---------+------------------------------------------------------------------------------+------+-------+----------+----------------+----------------------+

Copy

테이블에 대한 클러스터링 키 삭제하기¶

언제든지 ALTER TABLE 을 사용하여 테이블의 클러스터링 키를 삭제할 수 있습니다.

ALTER TABLE <name> DROP CLUSTERING KEY

예:

ALTER TABLE t1 DROP CLUSTERING KEY;

SHOW TABLES LIKE 't1';

+-------------------------------+------+---------------+-------------+-------+---------+------------+------+-------+----------+----------------+----------------------+
| created_on                    | name | database_name | schema_name | kind  | comment | cluster_by | rows | bytes | owner    | retention_time | automatic_clustering |
|-------------------------------+------+---------------+-------------+-------+---------+------------+------+-------+----------+----------------+----------------------|
| 2019-06-20 12:06:07.517 -0700 | T1   | TESTDB        | PUBLIC      | TABLE |         |            |    0 |     0 | SYSADMIN | 1              | OFF                  |
+-------------------------------+------+---------------+-------------+-------+---------+------------+------+-------+----------+----------------+----------------------+

Copy