Openflow Connector for Google Driveを設定する¶

前提条件¶

以下の要件を満たしていることを確認します。

• スーパー管理者権限を持つGoogleユーザーがいる

• 以下のロールを持つGoogleクラウドプロジェクトがある:

  • 組織ポリシー管理者

  • 組織管理者

サービスアカウントのキー作成を有効にする¶

Googleはデフォルトでサービスアカウントのキー作成を無効にしています。Openflowがサービスアカウント JSON を使用するには、このキー作成ポリシーをオフにする必要があります。

1. 組織ポリシー管理者ロールを持つスーパー管理者アカウントで Google Cloud Console にログインします。

2. 組織内のプロジェクトではなく、組織に関連付けられたプロジェクトであることを確認します。

3. Organization Policies をクリックします。

4. Disable service account key creation ポリシーを選択します。

5. Manage Policy をクリックし、適用をオフにします。

6. Set Policy をクリックします。

サービスアカウントとキーを作成する¶

1. Google Cloud Console を開き、サービスアカウントを作成するアクセス権が付与されたユーザーを使用して認証します。

2. あなたが組織のプロジェクトに参加していることを確認します。

3. 左のナビゲーションで、 IAM & Admin の下にある、 Service Accounts タブを選択します。

4. Create Service Account をクリックします。

5. サービスアカウント名を入力し、 Create and Continue をクリックします。

6. Done をクリックします。サービスアカウントが一覧表示されたテーブルで、 OAuth 2 Client ID 列を探します。クライアント ID をコピーします。これは、次のセクションでドメイン全体の委任を設定するために必要になります。

7. 新しく作成したサービスアカウントで、そのサービスアカウントが一覧表示されているテーブルの下のメニューをクリックし、 Manage keys を選択します。

8. Add key、 Create new key の順に選択します。

9. デフォルトの JSON を選択したまま、 Create をクリックします。

キーは.jsonファイルとしてブラウザーのDownloadsディレクトリにダウンロードされます。

一覧表示されたスコープに対してサービスアカウントにドメイン全体の委任を付与する¶

1. Google Adminアカウントにログインします。

2. Admin から Google Apps selector を選択します。

3. 左のナビゲーションで、 Security を展開し、 Access、 Data control の順で選択し、 API Controls をクリックします。

4. API Controls 画面で Manage domain wild delegation を選択します。

5. Add new をクリックします。

6. 「サービスアカウントとキーを作成する」セクションで取得した OAuth 2 クライアント ID と、以下のスコープを入力します。

   • https://www.googleapis.com/auth/drive

   • https://www.googleapis.com/auth/drive.metadata.readonly

   • https://www.googleapis.com/auth/admin.directory.group.member.readonly

   • https://www.googleapis.com/auth/admin.directory.group.readonly

   • https://www.googleapis.com/auth/drive.file

   • https://www.googleapis.com/auth/drive.metadata

7. Authorize をクリックします。

設定例¶

--The following script assumes you'll need to create all required roles, users, and objects.
--However, you may want to reuse some that are already in existence.

--Create a Snowflake service user to manage the connector
USE ROLE USERADMIN;
CREATE USER <openflow_service_user> TYPE=SERVICE COMMENT='Service user for Openflow automation';

--Create a pair of secure keys (public and private). For more information, see
--key-pair authentication. Store the private key for the user in a file to supply
--to the connector’s configuration. Assign the public key to the Snowflake service user:
ALTER USER <openflow_service_user> SET RSA_PUBLIC_KEY = '<pubkey>';


--Create a role to manage the connector and the associated data and
--grant it to that user
USE ROLE SECURITYADMIN;
CREATE ROLE <openflow_connector_admin_role>;
GRANT ROLE <openflow_connector_admin_role> TO USER <openflow_service_user>;


--The following block is for USE CASE 2 (Cortex connect) ONLY
--Create a role for read access to the cortex search service created by this connector.
--This role should be granted to any role that will use the service
CREATE ROLE <cortex_search_service_read_only_role>;
GRANT ROLE <cortex_search_service_read_only_role> TO ROLE <whatever_roles_will_access_search_service>;

--Create the database the data will be stored in and grant usage to the roles created
USE ROLE ACCOUNTADMIN; --use whatever role you want to own your DB
CREATE DATABASE IF NOT EXISTS <destination_database>;
GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_connector_admin_role>;

--Create the schema the data will be stored in and grant the necessary privileges
--on that schema to the connector admin role:
USE DATABASE <destination_database>;
CREATE SCHEMA IF NOT EXISTS <destination_schema>;
GRANT USAGE ON SCHEMA <destination_schema> TO ROLE <openflow_connector_admin_role>;
GRANT CREATE TABLE, CREATE DYNAMIC TABLE, CREATE STAGE, CREATE SEQUENCE, CREATE CORTEX
SEARCH SERVICE ON SCHEMA <destination_schema> TO ROLE <openflow_connector_admin_role>;

--The following block is for CASE 2 (Cortex connect) ONLY
--Grant the Cortex read-only role access to the database and schema
GRANT USAGE ON DATABASE <destination_database> TO ROLE <cortex_search_service_read_only_role>;
GRANT USAGE ON SCHEMA <destination_schema> TO ROLE <cortex_search_service_read_only_role>;

--Create the warehouse this connector will use if it doesn't already exist. Grant the
--appropriate privileges to the connector admin role. Adjust the size according to your needs.
CREATE WAREHOUSE <openflow_warehouse>
WITH
   WAREHOUSE_SIZE = 'MEDIUM'
   AUTO_SUSPEND = 300
   AUTO_RESUME = TRUE;
GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_connector_admin_role>;

Copy

コネクタを設定する¶

データエンジニアとして、以下のタスクを実行してコネクタをインストールおよび構成します。

コネクタを設定する¶

データエンジニアとして、以下のタスクを実行してコネクタをインストールおよび構成します。

コネクタを設定する¶

データエンジニアとして、以下のタスクを実行してコネクタをインストールおよび構成します。

フローを実行する¶

1. フローを実行します。

   1. プロセスグループを開始します。フローでは、Snowflake内部に必要なオブジェクトをすべて作成します。

   2. インポートしたプロセスグループを右クリックし、 開始 を選択します。

2. Cortex Search serviceをクエリする。

SELECT PARSE_JSON(
  SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
    '<application_instance_name>.cortex.search_service',
      '{
        "query": "<your_question>",
         "columns": ["chunk", "web_url"],
         "filter": {"@contains": {"user_emails": "<user_emailID>"} },
         "limit": <number_of_results>
       }'
   )
)['results'] AS results

SELECT PARSE_JSON(
     SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
          '<application_instance_name>.cortex.search_service',
          '{
             "query": "What is my vacation carry over policy?",
             "columns": ["chunk", "web_url"],
             "filter": {"@contains": {"user_emails": "<user_emailID>"} },
             "limit": 1
          }'
     )
 )['results'] AS results

import snowflake.snowpark as snowpark
from snowflake.snowpark import Session
from snowflake.core import Root

def main(session: snowpark.Session):

   root = Root(session)

   # fetch service
   my_service = (root
     .databases["<application_instance_name>"]
     .schemas["cortex"]
     .cortex_search_services["search_service"]
   )

   # query service
   resp = my_service.search(
     query="What is my vacation carry over policy?",
     columns = ["chunk", "web_url"],
     filter = {"@contains": {"user_emails": "<user_emailID>"} },
     limit=1
   )
   return (resp.to_json())

curl --location "https://<account_url>/api/v2/databases/<application_instance_name>/schemas/cortex/cortex-search-services/search_service" \
     --header 'Content-Type: application/json' \
     --header 'Accept: application/json' \
     --header "Authorization: Bearer <CORTEX_SEARCH_JWT>" \
     --data '{
         "query": "What is my vacation carry over policy?",
         "columns": ["chunk", "web_url"],
         "limit": 1
     }'