자동화된 디렉터리 테이블 메타데이터 새로 고침¶
내부 또는 외부 스테이지에서 디렉터리 테이블의 메타데이터를 자동으로 새로 고칠 수 있습니다.
새로 고침 작업은 메타데이터를 저장소에 있는 최신 관련 파일 세트와 동기화하며, 다음 유형의 변경에 대한 응답으로 발생합니다.
경로의 새 파일이 테이블 메타데이터에 추가됩니다.
경로에 있는 파일은 테이블 메타데이터에서 업데이트됩니다.
경로에 더 이상 없는 파일은 테이블 메타데이터에서 제거됩니다.
내부 스테이지¶
내부 스테이지에서 디렉터리 테이블을 자동으로 새로 고치면 다음과 같은 상황이 발생하면 내부 명명된 스테이지 및 경로에 있는 관련 파일의 최신 세트와 메타데이터를 동기화합니다.
경로의 새 파일이 테이블 메타데이터에 추가됩니다.
경로의 파일에 대한 변경 사항은 테이블 메타데이터에서 업데이트됩니다.
경로에 더 이상 없는 파일은 테이블 메타데이터에서 제거됩니다.
디렉터리 테이블이 활성화된 내부 명명된 스테이지 생성하기¶
CREATE STAGE 명령을 사용하여 디렉터리 테이블이 활성화된 내부 스테이지를 생성합니다. Snowflake는 스테이징된 데이터 파일을 디렉터리 테이블 메타데이터로 읽습니다.
CREATE STAGE my_int_stage
DIRECTORY = (
ENABLE = TRUE
AUTO_REFRESH = TRUE
);
외부 스테이지¶
다음 이벤트 알림 서비스를 사용하면 디렉터리 테이블의 메타데이터를 자동으로 새로 고칠 수 있습니다.
Amazon S3: Amazon SQS (Simple Queue Service)
Google Cloud Storage: Google Cloud Pub/Sub
Microsoft Azure: Microsoft Azure Event Grid
자동 새로 고침을 설정하려면 파일이 있는 클라우드 저장소 서비스 항목을 참조하십시오.
클라우드 간 지원¶
Snowflake는 외부 스테이지를 위한 클라우드 간, 리전 간 자동 디렉터리 테이블 새로 고침을 지원합니다.
다음 테이블은 Snowflake 계정을 호스팅하는 클라우드 플랫폼 에 따라 Snowflake가 자동 디렉터리 테이블 새로 고침을 위해 지원하는 클라우드 간 옵션을 보여줍니다.
Amazon S3 |
Google Cloud Storage |
Microsoft Azure Blob 저장소 |
Microsoft Data Lake Storage Gen2 |
Microsoft Azure 범용 v2 |
|
|---|---|---|---|---|---|
AWS에 호스팅된 계정 |
✔ |
✔ |
✔ |
✔ |
✔ |
GCP에 호스팅된 계정 |
✔ |
✔ |
✔ |
✔ |
✔ |
Azure에 호스팅된 계정 |
✔ |
✔ |
✔ |
✔ |
✔ |
고려 사항¶
자동 새로 고침은 이벤트 기반이며 규모가 크거나 빠르게 성장하는 스테이지에 대해 수동 새로 고침보다 더 우수한 성능을 제공합니다.
내부 스테이지 자동 새로고침은 현재 AWS 에서 호스팅하는 계정에서 사용할 수 있습니다. Snowflake는 계정이 Google Cloud 또는 Azure에서 호스팅되는 경우 내부 스테이지에서 디렉터리 테이블 메타데이터를 새로 고치는 기능을 지원하지 않습니다.
다음 항목: