Google Drive용 Openflow Connector 설정하기¶

전제 조건¶

다음 요구 사항을 충족하는지 확인하십시오.

• 슈퍼 관리자 권한이 있는 Google 사용자가 있습니다

• 다음과 같은 역할을 하는 Google Cloud Project가 있습니다.

  • 조직 정책 관리자

  • 조직 관리자

서비스 계정 키 생성 활성화하기¶

기본적으로 Google은 서비스 계정 키 생성을 비활성화합니다. Openflow에서 서비스 계정 JSON 을 사용하려면 이 키 생성 정책을 해제해야 합니다.

1. 조직 정책 관리자 역할이 있는 슈퍼 관리자 계정으로 Google Cloud Console 에 로그인합니다.

2. 조직 내 프로젝트가 아닌 조직과 연결된 프로젝트에 있는지 확인하십시오.

3. Organization Policies 를 클릭합니다.

4. Disable service account key creation 정책을 선택합니다.

5. Manage Policy 를 클릭하고 적용을 해제합니다.

6. Set Policy 를 클릭합니다.

서비스 계정 및 키 생성하기¶

1. Google Cloud Console 을 열고 서비스 계정을 생성할 수 있는 액세스 권한이 부여된 사용자를 사용하여 인증합니다.

2. 소속 조직의 프로젝트에 속해 있는지 확인합니다.

3. 왼쪽 탐색의 IAM & Admin 에서 Service Accounts 탭을 선택합니다.

4. Create Service Account 를 클릭합니다.

5. 서비스 계정 이름을 입력하고 Create and Continue 를 클릭합니다.

6. Done 을 클릭합니다. 서비스 계정이 나열된 테이블에서 OAuth 2 Client ID 열을 찾습니다. 나중에 다음 섹션에서 도메인 전체 위임을 설정하는 데 필요하므로 ID 클라이언트를 복사본으로 만드십시오.

7. 새로 생성한 서비스 계정에서 해당 서비스 계정에 대한 서비스 계정이 나열된 테이블 아래의 메뉴를 클릭하고 Manage keys 를 선택합니다.

8. Add key 을 선택한 다음 Create new key 를 선택합니다.

9. 기본 선택 사항인 JSON 을 그대로 두고 Create 를 클릭합니다.

키는 브라우저 다운로드 디렉터리에 .json 파일로 다운로드됩니다.

나열된 범위에 대한 서비스 계정 도메인 전체 위임 부여¶

1. Google 관리자 계정에 로그인합니다.

2. Google Apps selector 에서 Admin 을 선택합니다.

3. 왼쪽 탐색에서 Security 를 확장한 다음, Access 를 선택하고 Data control 을 클릭한 후 API Controls 을 클릭합니다.

4. API Controls 화면에서 Manage domain wild delegation 을 선택합니다.

5. Add new 를 클릭합니다.

6. 서비스 계정 및 키 생성하기 섹션에서 가져온 OAuth 2 클라이언트 ID 와 다음 범위를 입력합니다.

   • https://www.googleapis.com/auth/drive

   • https://www.googleapis.com/auth/drive.metadata.readonly

   • https://www.googleapis.com/auth/admin.directory.group.member.readonly

   • https://www.googleapis.com/auth/admin.directory.group.readonly

   • https://www.googleapis.com/auth/drive.file

   • https://www.googleapis.com/auth/drive.metadata

7. Authorize 를 클릭합니다.

예시 설정¶

--The following script assumes you'll need to create all required roles, users, and objects.
--However, you may want to reuse some that are already in existence.

--Create a Snowflake service user to manage the connector
USE ROLE USERADMIN;
CREATE USER <openflow_service_user> TYPE=SERVICE COMMENT='Service user for Openflow automation';

--Create a pair of secure keys (public and private). For more information, see
--key-pair authentication. Store the private key for the user in a file to supply
--to the connector’s configuration. Assign the public key to the Snowflake service user:
ALTER USER <openflow_service_user> SET RSA_PUBLIC_KEY = '<pubkey>';


--Create a role to manage the connector and the associated data and
--grant it to that user
USE ROLE SECURITYADMIN;
CREATE ROLE <openflow_connector_admin_role>;
GRANT ROLE <openflow_connector_admin_role> TO USER <openflow_service_user>;


--The following block is for USE CASE 2 (Cortex connect) ONLY
--Create a role for read access to the cortex search service created by this connector.
--This role should be granted to any role that will use the service
CREATE ROLE <cortex_search_service_read_only_role>;
GRANT ROLE <cortex_search_service_read_only_role> TO ROLE <whatever_roles_will_access_search_service>;

--Create the database the data will be stored in and grant usage to the roles created
USE ROLE ACCOUNTADMIN; --use whatever role you want to own your DB
CREATE DATABASE IF NOT EXISTS <destination_database>;
GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_connector_admin_role>;

--Create the schema the data will be stored in and grant the necessary privileges
--on that schema to the connector admin role:
USE DATABASE <destination_database>;
CREATE SCHEMA IF NOT EXISTS <destination_schema>;
GRANT USAGE ON SCHEMA <destination_schema> TO ROLE <openflow_connector_admin_role>;
GRANT CREATE TABLE, CREATE DYNAMIC TABLE, CREATE STAGE, CREATE SEQUENCE, CREATE CORTEX
SEARCH SERVICE ON SCHEMA <destination_schema> TO ROLE <openflow_connector_admin_role>;

--The following block is for CASE 2 (Cortex connect) ONLY
--Grant the Cortex read-only role access to the database and schema
GRANT USAGE ON DATABASE <destination_database> TO ROLE <cortex_search_service_read_only_role>;
GRANT USAGE ON SCHEMA <destination_schema> TO ROLE <cortex_search_service_read_only_role>;

--Create the warehouse this connector will use if it doesn't already exist. Grant the
--appropriate privileges to the connector admin role. Adjust the size according to your needs.
CREATE WAREHOUSE <openflow_warehouse>
WITH
   WAREHOUSE_SIZE = 'MEDIUM'
   AUTO_SUSPEND = 300
   AUTO_RESUME = TRUE;
GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_connector_admin_role>;

Copy

커넥터 설정하기¶

데이터 엔지니어는 다음 작업을 수행하여 커넥터를 설치하고 구성합니다.

커넥터 설정하기¶

데이터 엔지니어는 다음 작업을 수행하여 커넥터를 설치하고 구성합니다.

커넥터 설정하기¶

데이터 엔지니어는 다음 작업을 수행하여 커넥터를 설치하고 구성합니다.

플로우 실행¶

1. 플로우를 실행합니다.

   1. 프로세스 그룹을 시작합니다. 이 플로우는 Snowflake 내부에 모든 필수 오브젝트를 생성합니다.

   2. 가져온 프로세스 그룹을 마우스 오른쪽 버튼으로 클릭하고 Start 를 선택합니다.

2. Cortex Search Service 쿼리하기.

SELECT PARSE_JSON(
  SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
    '<application_instance_name>.cortex.search_service',
      '{
        "query": "<your_question>",
         "columns": ["chunk", "web_url"],
         "filter": {"@contains": {"user_emails": "<user_emailID>"} },
         "limit": <number_of_results>
       }'
   )
)['results'] AS results

SELECT PARSE_JSON(
     SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
          '<application_instance_name>.cortex.search_service',
          '{
             "query": "What is my vacation carry over policy?",
             "columns": ["chunk", "web_url"],
             "filter": {"@contains": {"user_emails": "<user_emailID>"} },
             "limit": 1
          }'
     )
 )['results'] AS results

import snowflake.snowpark as snowpark
from snowflake.snowpark import Session
from snowflake.core import Root

def main(session: snowpark.Session):

   root = Root(session)

   # fetch service
   my_service = (root
     .databases["<application_instance_name>"]
     .schemas["cortex"]
     .cortex_search_services["search_service"]
   )

   # query service
   resp = my_service.search(
     query="What is my vacation carry over policy?",
     columns = ["chunk", "web_url"],
     filter = {"@contains": {"user_emails": "<user_emailID>"} },
     limit=1
   )
   return (resp.to_json())

curl --location "https://<account_url>/api/v2/databases/<application_instance_name>/schemas/cortex/cortex-search-services/search_service" \
     --header 'Content-Type: application/json' \
     --header 'Accept: application/json' \
     --header "Authorization: Bearer <CORTEX_SEARCH_JWT>" \
     --data '{
         "query": "What is my vacation carry over policy?",
         "columns": ["chunk", "web_url"],
         "limit": 1
     }'