Google Cloud Storage에 대해 자동으로 디렉터리 테이블 새로 고치기¶

1단계: Snowflake에서 클라우드 저장소 통합 만들기¶

CREATE STORAGE INTEGRATION 명령을 사용하여 통합을 생성합니다. 통합은 외부 클라우드 저장소에 대한 인증 책임을 Snowflake 생성 엔터티(예: 클라우드 서비스 계정)에 위임하는 Snowflake 오브젝트입니다. 클라우드 저장소 버킷에 액세스하기 위해 Snowflake는 데이터 파일을 저장하는 버킷에 액세스할 수 있는 권한을 부여할 수 있는 서비스 계정을 생성합니다.

단일 저장소 통합은 여러 외부(즉, GCS) 스테이지를 지원할 수 있습니다. 스테이지 정의의 URL은 STORAGE_ALLOWED_LOCATIONS 매개 변수에 대해 지정된 Azure 컨테이너GCS 버킷(및 선택적 경로)와 일치해야 합니다.

CREATE STORAGE INTEGRATION <integration_name>
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'GCS'
  ENABLED = TRUE
  STORAGE_ALLOWED_LOCATIONS = ('gcs://<bucket>/<path>/', 'gcs://<bucket>/<path>/')
  [ STORAGE_BLOCKED_LOCATIONS = ('gcs://<bucket>/<path>/', 'gcs://<bucket>/<path>/') ]

여기서

• integration_name 은 새 통합의 이름입니다.

• bucket 은 데이터 파일을 저장하는 클라우드 저장소 버킷의 이름입니다(예: mybucket). 필수 STORAGE_ALLOWED_LOCATIONS 매개 변수와 선택적 STORAGE_BLOCKED_LOCATIONS 매개 변수는 이 통합을 참조하는 스테이지가 생성되거나 수정될 때 이러한 버킷에 대한 액세스를 각각 제한하거나 차단합니다.

• path 는 버킷의 오브젝트를 세부적으로 제어하기 위해 사용할 수 있는 선택적 경로입니다.

다음은 통합을 사용하여 두 버킷과 경로 중 하나를 참조하는 외부 스테이지를 명시적으로 제한하는 통합을 만드는 예입니다. 이후 단계에서 이러한 버킷과 경로 중 하나를 참조하는 외부 스테이지를 생성합니다.

이 통합도 사용하는 추가 외부 스테이지는 허용되는 버킷과 경로를 참조할 수 있습니다.

CREATE STORAGE INTEGRATION gcs_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'GCS'
  ENABLED = TRUE
  STORAGE_ALLOWED_LOCATIONS = ('gcs://mybucket1/path1/', 'gcs://mybucket2/path2/')
  STORAGE_BLOCKED_LOCATIONS = ('gcs://mybucket1/path1/sensitivedata/', 'gcs://mybucket2/path2/sensitivedata/');

Copy

2단계: Snowflake 계정에 대한 클라우드 저장소 서비스 계정 검색¶

DESCRIBE INTEGRATION 명령을 실행하여 Snowflake 계정에 대해 자동으로 생성된 클라우드 저장소 서비스 계정에 대한 ID를 검색합니다.

DESC STORAGE INTEGRATION <integration_name>;

여기서

• integration_name 은 이 항목의 1단계: Snowflake에서 클라우드 저장소 통합 만들기 에서 생성한 통합의 이름입니다.

예:

DESC STORAGE INTEGRATION gcs_int;

+-----------------------------+---------------+-----------------------------------------------------------------------------+------------------+
| property                    | property_type | property_value                                                              | property_default |
+-----------------------------+---------------+-----------------------------------------------------------------------------+------------------|
| ENABLED                     | Boolean       | true                                                                        | false            |
| STORAGE_ALLOWED_LOCATIONS   | List          | gcs://mybucket1/path1/,gcs://mybucket2/path2/                               | []               |
| STORAGE_BLOCKED_LOCATIONS   | List          | gcs://mybucket1/path1/sensitivedata/,gcs://mybucket2/path2/sensitivedata/   | []               |
| STORAGE_GCP_SERVICE_ACCOUNT | String        | service-account-id@project1-123456.iam.gserviceaccount.com                  |                  |
+-----------------------------+---------------+-----------------------------------------------------------------------------+------------------+

Copy

출력의 STORAGE_GCP_SERVICE_ACCOUNT 속성은 Snowflake 계정에 대해 생성된 클라우드 저장소 서비스 계정을 보여줍니다(예: service-account-id@project1-123456.iam.gserviceaccount.com). 전체 Snowflake 계정에 대해 단일 클라우드 저장소 서비스 계정을 프로비저닝합니다. 모든 클라우드 저장소 통합은 해당 서비스 계정을 사용합니다.

3단계: 서비스 계정에 버킷 오브젝트 액세스 권한 부여¶

다음 단계별 지침에서는 클라우드 저장소 버킷을 사용하여 데이터를 로드 및 언로드할 수 있도록 Google Cloud Platform 콘솔에서 Snowflake에 대한 IAM 액세스 허가를 구성하는 방법을 설명합니다.

전제 조건¶

이 항목의 지침에서는 다음 항목이 생성 및 구성된 것으로 가정합니다.

GCP 계정

• GCS 버킷에서 이벤트 메시지를 수신하는 Pub/Sub 항목. 자세한 내용은 이 항목의 Pub/Sub 항목 만들기 섹션을 참조하십시오.

• Pub/Sub 항목에서 이벤트 메시지를 수신하는 구독. 자세한 내용은 이 항목의 Pub/Sub 구독 만들기 섹션을 참조하십시오.

자세한 지침은 Pub/Sub 설명서 를 참조하십시오.

Snowflake

• 데이터가 로드될 Snowflake 데이터베이스의 대상 테이블.

$ gsutil notification create -t <topic> -f json gs://<bucket-name> -e OBJECT_FINALIZE -e OBJECT_DELETE

1단계: Snowflake에서 알림 통합 만들기¶

CREATE NOTIFICATION INTEGRATION 명령을 사용하여 알림 통합을 생성합니다. 알림 통합은 Pub/Sub 구독을 참조합니다. Snowflake는 계정에 대해 생성된 GCS 서비스 계정과 알림 통합을 연결합니다. Snowflake는 Snowflake 계정의 모든 GCS 알림 통합에서 참조하는 단일 서비스 계정을 생성합니다.

CREATE NOTIFICATION INTEGRATION <integration_name>
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = GCP_PUBSUB
  ENABLED = true
  GCP_PUBSUB_SUBSCRIPTION_NAME = '<subscription_id>';

여기서

• integration_name 은 새 통합의 이름입니다.

• subscription_id 는 Pub/Sub 구독 ID 검색하기 에서 기록한 구독의 이름입니다.

예:

CREATE NOTIFICATION INTEGRATION my_notification_int
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = GCP_PUBSUB
  ENABLED = true
  GCP_PUBSUB_SUBSCRIPTION_NAME = 'projects/project-1234/subscriptions/sub2';

2단계: Pub/Sub 구독에 Snowflake 액세스 권한 부여¶

1. DESCRIBE INTEGRATION 명령을 사용하여 Snowflake 계정 ID를 검색합니다.

   DESC NOTIFICATION INTEGRATION <integration_name>;
   

   Copy

   여기서

   • integration_name 은 1단계: Snowflake에서 알림 통합 만들기 에서 생성한 통합의 이름입니다.

   예:

   DESC NOTIFICATION INTEGRATION my_notification_int;
   

   Copy

2. GCP_PUBSUB_SERVICE_ACCOUNT 열의 서비스 계정 이름을 기록하고 해당 형식은 다음과 같습니다.

   <service_account>@<project_id>.iam.gserviceaccount.com
   

   Copy

3. Google Cloud Platform Console에 프로젝트 편집자로 로그인합니다.

4. 홈 대시보드에서 Big Data » Pub/Sub » Subscriptions 을 선택합니다.

5. 액세스를 구성할 구독을 선택합니다.

6. 오른쪽 상단 모서리에서 SHOW INFO PANEL 를 클릭합니다. 구독에 대한 정보 패널이 표시됩니다.

7. ADD PRINCIPAL 버튼을 클릭합니다.

8. New principals 드롭다운에서 기록한 서비스 계정 이름을 검색합니다.

9. Select a role 드롭다운에서 Pub/Sub Subscriber 를 선택합니다.

10. Save 버튼을 클릭합니다. 서비스 계정 이름이 정보 패널의 Pub/Sub Subscriber 역할 드롭다운에 추가됩니다.

11. 클라우드 콘솔의 Dashboard 페이지로 이동하고 드롭다운 목록에서 프로젝트를 선택합니다.

12. ADD PEOPLE TO THIS PROJECT 버튼을 클릭합니다.

13. 기록한 서비스 계정 이름을 추가합니다.

14. Select a role 드롭다운에서 Monitoring Viewer 를 선택합니다.

15. Save 버튼을 클릭합니다. 서비스 계정 이름이 Monitoring Viewer 역할에 추가됩니다.

3단계: 포함된 디렉터리 테이블로 스테이지 만들기¶

CREATE STAGE 명령을 사용하여 GCS 버킷을 참조하는 외부 스테이지를 생성합니다. Snowflake는 스테이징된 데이터 파일을 디렉터리 테이블 메타데이터로 읽습니다. 아니면 기존 외부 스테이지를 사용할 수 있습니다.

-- External stage
CREATE [ OR REPLACE ] [ TEMPORARY ] STAGE [ IF NOT EXISTS ] <external_stage_name>
      <cloud_storage_access_settings>
    [ FILE_FORMAT = ( { FORMAT_NAME = '<file_format_name>' | TYPE = { CSV | JSON | AVRO | ORC | PARQUET | XML } [ formatTypeOptions ] } ) ]
    [ directoryTable ]
    [ COPY_OPTIONS = ( copyOptions ) ]
    [ COMMENT = '<string_literal>' ]

여기서

directoryTable ::=
  [ DIRECTORY = ( ENABLE = { TRUE | FALSE }
                  [ AUTO_REFRESH = { TRUE | FALSE } ]
                  [ NOTIFICATION_INTEGRATION = '<notification_integration_name>' ] ) ]

Copy

CREATE STAGE mystage
  URL='gcs://mybucket/files/'
  STORAGE_INTEGRATION = my_storage_int
  DIRECTORY = (
    ENABLE = true
    AUTO_REFRESH = true
    NOTIFICATION_INTEGRATION = 'MY_NOTIFICATION_INT'
  );

4단계: 디렉터리 테이블 메타데이터를 수동으로 새로 고치기¶

ALTER STAGE 명령을 사용하여 디렉터리 테이블의 메타데이터를 수동으로 새로 고칩니다.

ALTER STAGE [ IF EXISTS ] <name> REFRESH [ SUBPATH = '<relative-path>' ]

ALTER STAGE mystage REFRESH;

5단계: 보안 구성하기¶

디렉터리 테이블을 쿼리하는 데 사용할 각 추가 역할에 대해 GRANT <권한> 를 사용하여 다양한 오브젝트(즉, 데이터베이스, 스키마, 스테이지)에 대한 충분한 액세스 제어 권한을 부여합니다.