Openflow Connector for Google BigQuery 설정하기¶

전제 조건¶

1. Openflow Connector for Google BigQuery 정보 섹션을 검토합니다.

2. 런타임 배포를 설정합니다.

   • Openflow - BYOC 설정

   • Openflow - Snowflake 배포 설정

3. Openflow - Snowflake Deployments 를 사용하는 경우 :doc:`필수 도메인 구성 </user-guide/data-integration/openflow/setup-openflow-spcs-sf-allow-list>`을 검토하고 커넥터에 필요한 :ref:`도메인 <label-of_bq_req_domains>`에 대한 액세스 권한을 부여했는지 확인합니다.

4. Openflow 관리자 역할 또는 Openflow를 관리하는 데 사용하는 유사한 역할에 액세스할 수 있습니다.

5. 커넥터를 관리하기 위해 Snowflake 서비스 사용자를 생성하는 경우 키 페어 인증을 생성한 것입니다. 자세한 내용은 키 페어 인증 섹션을 참조하세요.

필수 엔드포인트¶

커넥터가 작동하려면 다음 엔드포인트가 필요합니다.

• bigquery.googleapis.com:443

• bigquerystorage.googleapis.com:443

• oauth2.googleapis.com:443

Openflow-BYOC를 사용하는 경우 위에 나열된 엔드포인트에 대한 TLS 443 액세스를 허용하도록 클라우드 네트워크 송신을 구성해야 합니다. Openflow - Snowflake Deployments 를 사용하는 경우 네트워크 규칙과 외부 액세스 통합(EAI)을 생성해야 합니다. 그런 다음 EAI에서 Snowflake 역할 사용 권한을 부여합니다.

BigQuery 설정¶

1. Google Cloud Service 계정을 생성하고 BigQuery 데이터를 읽는 데 필요한 권한을 부여합니다. 커넥터는 이 계정을 인증에 사용합니다.

   이 계정에는 다음 권한이 있어야 합니다.

   • BigQuery User

   • BigQuery Data Editor

중요

BigQuery Data Editor``는 개별 데이터 세트가 아닌 **프로젝트 수준**에서 부여되어야 합니다. 커넥터는 ``{project}.{region}.INFORMATION_SCHEMA.TABLES``를 쿼리하여 구성된 모든 리전에서 테이블을 검색합니다. 이는 프로젝트 수준 액세스가 필요한 리전 범위 지정 뷰입니다. 커넥터는 ``{project}.{dataset}.INFORMATION_SCHEMA.KEY_COLUMN_USAGE``를 쿼리하여 복제된 각 테이블의 기본 키를 결정하기도 합니다. 프로젝트 수준 액세스 권한이 없으면 ``Access Denied 오류와 함께 쿼리가 실패하며 커넥터가 올바르게 실행되지 않습니다.

1. 서비스 계정의 해당 JSON 키 파일을 생성하고 다운로드합니다. 커넥터 구성을 위해서는 이 파일의 전체 내용이 필요합니다.

2. 커넥터가 증분 복제를 수행할 수 있도록 각 소스 테이블에서 변경 기록을 활성화합니다. 이 기능을 통해 BigQuery는 커넥터가 데이터를 효율적으로 동기화하기 위해 사용하는 행 수준 변경 사항(삽입, 업데이트, 삭제)을 추적합니다.

   각 테이블에 대해 BigQuery 콘솔에서 다음 쿼리를 실행합니다.

   CopyExpand

   ALTER TABLE `project.dataset.table`
   SET OPTIONS (enable_change_history = TRUE);
   

   Show lessSee more

   Scroll to top

Snowflake 계정 설정¶

Openflow 관리자로 다음 작업을 수행하여 Snowflake 계정을 설정합니다.

1. Snowflake 서비스 사용자를 생성합니다.

   CopyExpand

   USE ROLE USERADMIN;
   CREATE USER <openflow_service_user>
     TYPE=SERVICE
     COMMENT='Service user for Openflow automation';
   

   Show lessSee more

   Scroll to top

2. 커넥터의 구성에 제공할 파일에 사용자의 개인 키를 저장합니다. 자세한 내용은 키 페어 인증 섹션을 참조하세요.

   CopyExpand

   ALTER USER <openflow_service_user> SET RSA_PUBLIC_KEY = '<pubkey>';
   

   Show lessSee more

   Scroll to top

3. 복제된 데이터를 저장하는 데이터베이스를 생성하고, USAGE 및 CREATE SCHEMA 권한을 부여하여 해당 데이터베이스에 오브젝트를 생성할 수 있도록 Snowflake 사용자에게 권한을 설정합니다.

   CopyExpand

   USE ROLE ACCOUNTADMIN;
   CREATE DATABASE IF NOT EXISTS <destination_database>;
   GRANT USAGE ON DATABASE <destination_database> TO USER <openflow_service_user>;
   GRANT CREATE SCHEMA ON DATABASE <destination_database> TO USER <openflow_service_user>;
   

   Show lessSee more

   Scroll to top

4. 새 웨어하우스를 생성하거나 커넥터에 기존 웨어하우스를 사용합니다.

   새 웨어하우스를 생성하려면 다음을 수행합니다.

   CopyExpand

   CREATE WAREHOUSE <openflow_warehouse>
   WITH
      WAREHOUSE_SIZE = 'MEDIUM'
      AUTO_SUSPEND = 300
      AUTO_RESUME = TRUE;
   GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO USER <openflow_service_user>;
   

   Show lessSee more

   Scroll to top

   MEDIUM 웨어하우스 크기로 시작한 다음, 복제되는 테이블 수와 전송되는 데이터의 양에 따라 크기를 실험합니다.

   크기를 늘려야 할지 판단하려면 데이터 복제가 진행되는 동안 커넥터와 데이터베이스를 모니터링합니다. 증분 복제 중에 상당한 지연이 발생하면 더 큰 웨어하우스 크기로 실험합니다. 그러나 대규모 테이블 수는 일반적으로 웨어하우스 크기를 늘리는 대신 :doc:`멀티 클러스터 웨어하우스 </user-guide/warehouses-multicluster>`를 사용하여 확장하는 것이 좋습니다.

5. 외부 액세스 통합을 생성하여 Snowflake 외부에서 네트워크 액세스를 활성화합니다.

   조심

   런타임이 Openflow-BYOC에서 실행되는 경우 외부 액세스 통합(EAI)을 생성할 필요가 없습니다. 대신, 아래에 나열된 엔드포인트에 대한 TLS 443 액세스를 허용하도록 클라우드 네트워크 송신을 구성합니다.

   필수 host:port 엔드포인트는 :ref:`label-of_bq_req_domains`에 나열되어 있습니다.

   커넥터가 Snowflake 호스팅 런타임에서 필수 Google APIs를 호출하도록 허용하려면 네트워크 규칙과 외부 액세스 통합(EAI)을 생성해야 합니다. 그런 다음 EAI에서 Snowflake 역할 사용 권한을 부여합니다.

   외부 액세스 통합 및 네트워크 규칙을 생성하고 액세스 권한을 부여하려면 다음 단계를 수행합니다.

   1. 커넥터가 필수 Google APIs에 액세스할 수 있도록 허용하는 네트워크 규칙을 생성합니다.

      CopyExpand

      USE ROLE ACCOUNTADMIN;
      USE DATABASE <openflow_network_db>;
      
      CREATE OR REPLACE NETWORK RULE openflow_<runtime_name>_network_rule
        TYPE = HOST_PORT
        MODE = EGRESS
        VALUE_LIST = (
          'bigquery.googleapis.com:443',
          'bigquerystorage.googleapis.com:443',
          'oauth2.googleapis.com:443'
        );
      

      Show lessSee more

      Scroll to top

   2. 네트워크 규칙을 참조하는 외부 액세스 통합을 생성합니다.

      CopyExpand

      CREATE OR REPLACE EXTERNAL ACCESS INTEGRATION openflow_<runtime_name>_eai
        ALLOWED_NETWORK_RULES = (openflow_<runtime_name>_network_rule)
        ENABLED = TRUE;
      

      Show lessSee more

      Scroll to top

   3. 통합에 대한 Snowflake 역할 USAGE 권한을 부여합니다.

      CopyExpand

      GRANT USAGE ON INTEGRATION openflow_<runtime_name>_eai
        TO ROLE openflow_runtime_role_<runtime_name>;
      

      Show lessSee more

      Scroll to top

커넥터 설치하기¶

커넥터를 설치하려면 데이터 엔지니어로서 다음을 수행합니다.

1. Openflow 개요 페이지로 이동합니다. Featured connectors 섹션에서 View more connectors 을 선택합니다.

2. Openflow Connector 페이지에서 커넥터를 찾아 Add to runtime 을 선택합니다.

3. Select runtime 대화 상자의 Available runtimes 드롭다운 목록에서 런타임을 선택하고 :ui:`Add`를 클릭합니다.

   참고

   커넥터를 설치하기 전에 커넥터가 수집한 데이터를 저장할 수 있도록 Snowflake에서 데이터베이스와 스키마를 생성했는지 확인하십시오.

4. Snowflake 계정 자격 증명으로 배포를 인증하고 런타임 애플리케이션이 Snowflake 계정에 액세스할 수 있도록 허용할지 묻는 메시지가 표시되면 Allow 를 선택합니다. 커넥터 설치 프로세스를 완료하는 데 몇 분 정도 걸립니다.

5. Snowflake 계정 자격 증명으로 런타임에 인증합니다.

커넥터 프로세스 그룹이 추가된 Openflow 캔버스가 표시됩니다.

커넥터 구성¶

커넥터를 구성하려면 다음 단계를 수행합니다.

1. 추가된 런타임을 마우스 오른쪽 버튼으로 클릭하고 :ui:`Parameters`를 선택합니다.

2. :ref:`label-specify-bq-connector-flow-parameters`에 설명된 대로 필수 매개 변수 값을 채웁니다.

플로우 실행¶

1. 평면을 마우스 오른쪽 버튼으로 클릭하고 Enable all Controller Services 를 선택합니다.

2. 가져온 프로세스 그룹을 마우스 오른쪽 버튼으로 클릭하고 Start 를 선택합니다. 커넥터가 데이터 수집을 시작합니다.

다음 단계¶

• 커넥터를 설치한 후 수행할 수 있는 작업에 대한 자세한 내용은 :doc:`커넥터 사용 <use>`을 참조하세요.

• 흐름 모니터링에 대한 자세한 내용은 :doc:`흐름 모니터링 </user-guide/data-integration/openflow/monitor>`을 참조하세요.