디렉터리 테이블 관리하기

이 항목에서는 디렉터리 테이블로 외부 또는 내부 스테이지를 만들고 관리하기 위한 지침을 제공합니다.

디렉터리 테이블로 스테이지 만들기

이 섹션에서는 스테이징된 파일에 대한 메타데이터를 저장하기 위해 (CREATE STAGE 를 사용하여)디렉터리 테이블을 계층화하는 스테이지를 만드는 지침을 제공합니다.

내부 스테이지의 디렉터리 테이블에 수동 메타데이터 새로 고침 이 필요합니다. 외부 스테이지에 디렉터리 테이블을 포함하고 메타데이터를 수동으로 새로 고치도록 선택할 수도 있습니다. 자동화된 메타데이터 새로 고침에 대한 자세한 내용은 자동화된 메타데이터 새로 고침 을 참조하십시오.

디렉터리 테이블로 스테이지를 만드는 구문은 표준 외부 또는 내부 스테이지를 만드는 것과 거의 똑같습니다. 선택적 DIRECTORY 매개 변수를 TRUE로 설정합니다.

전체 구문과 매개 변수에 대한 설명은 CREATE STAGE 섹션을 참조하십시오. 기존 스테이지에 디렉터리 테이블을 추가하려면 ALTER STAGE … SET DIRECTORY 명령을 사용하십시오.

참고

디렉터리 테이블로 스테이지를 만든 후, ALTER STAGE … REFRESH를 실행하여 디렉터리 테이블 메타데이터를 수동으로 새로 고쳐야 합니다.

예

디렉터리 테이블을 포함하는 mystage 로 명명된 내부 스테이지를 만듭니다. 이 스테이지는 myformat 으로 명명된 파일 형식을 참조합니다.

CREATE STAGE mystage
  DIRECTORY = (ENABLE = TRUE)
  FILE_FORMAT = myformat;
Copy

디렉터리 테이블을 포함하는 mystage 로 명명된 외부 스테이지를 만듭니다. 스테이지는 files 의 경로를 포함하고 load 로 명명된 버킷 또는 컨테이너를 참조합니다. 클라우드 저장소 위치에 대한 보안 액세스는 my_storage_int 저장소 통합을 통해 제공됩니다.

참고

URL 값에서 저장소 위치는 슬래시(/)로 끝나야 합니다.

Amazon S3

CREATE STAGE mystage
  URL='s3://load/files/'
  STORAGE_INTEGRATION = my_storage_int
  DIRECTORY = (ENABLE = TRUE);
Copy

Google Cloud Storage

CREATE STAGE mystage
  URL='gcs://load/files/'
  STORAGE_INTEGRATION = my_storage_int
  DIRECTORY = (ENABLE = TRUE);
Copy

Microsoft Azure

CREATE STAGE mystage
  URL='azure://myaccount.blob.core.windows.net/load/files/'
  STORAGE_INTEGRATION = my_storage_int
  DIRECTORY = (ENABLE = TRUE);
Copy

디렉터리 테이블 메타데이터 새로 고치기

자동 새로 고침

클라우드 저장소 서비스용 이벤트 메시징 서비스를 사용하여 디렉터리 테이블의 메타데이터를 자동으로 새로 고칠 수 있습니다. 자동 새로 고침을 구성하려면 자동화된 디렉터리 테이블 메타데이터 새로 고침 섹션을 참조하십시오.

수동 새로 고침

참고

  • 외부 스테이지 블록에서 수동으로 새로 고치면 자동 새로 고침이 동시에 진행됩니다. 수동 새로 고침이 완료되면 자동 새로 고침이 다시 시작됩니다.

  • 수동 새로 고침은 스테이지에서 목록 작업을 수행하며, 규모가 크거나 빠르게 성장하는 스테이지의 경우 속도가 느리거나 비용이 많이 들 수 있습니다. 대신, 이벤트 기반 자동 새로 고침 을 사용합니다.

디렉터리 테이블의 메타데이터를 수동으로 새로 고치려면 ALTER STAGE 명령을 사용합니다.

최상의 성능을 위해 선택적 SUBPATH 와 ALTER STAGE 를 사용합니다. 그렇게 하면 나열하고 확인해야 할 파일 수가 줄어듭니다. 경로별로 데이터를 구성하는 방법에 대해 알아보려면 데이터 파일 스테이징 모범 사례 를 참조하십시오.

예:

ALTER STAGE my_stage REFRESH SUBPATH = '2024/01/31';
Copy

이 명령은 다음과 같은 열을 반환합니다.

열

설명

file

스테이징된 소스 파일의 이름과 파일에 대한 상대적 경로.

status

상태: REGISTERED_NEW, REGISTERED_UPDATE, REGISTER_SKIPPED, REGISTER_FAILED, UNREGISTERED 또는 UNREGISTER_FAILED.

description

파일 등록 상태에 대한 자세한 설명입니다.
언어: 한국어