Openflow Connector for Microsoft Dataverseを設定する¶

前提条件¶

1. Openflow Connector for Microsoft Dataverse について を確認してください。

2. Ensure that you have Openflowの設定 - BYOC or Set up Openflow - Snowflake Deployments.

3. If using Openflow - Snowflake Deployments, ensure that you've reviewed configuring required domains and have granted access to the required domains for the Microsoft Dataverse connector.

認証情報を取得する¶

Microsoft Dataverse管理者として、以下の手順を実行します。

1. 作業するDataverse Environmentがあり、https://admin.powerplatform.microsoft.com/を介してその環境にアクセスできることを確認します。

2. portal.azure.com のMicrosoft Entra ID にアプリケーションが登録されていることを確認してください。このアプリケーションは、Dataverse Environment で利用可能な テナントにアクセスできる必要があります。アプリケーションを登録するには このガイド に従います。

3. アプリケーション内で ClientID とクライアントシークレットを生成し、格納します。

4. Power アプリ管理センター に移動し、以前に登録されたアプリケーションを介してアクセスできるようにDataverse Environment を構成する。そのためには、Manage » Environments に移動し、構成する環境を選択します。その後 Settings » Users & permissions » Application users に移動します。以前に作成したアプリケーションを追加して、Microsoft Dataverseからのデータの読み取りに必要な権限を付与する必要があります。

5. https://admin.powerplatform.microsoft.com/から選択したDataverse EnvironmentのEnvironment URL をコピーし、保存します。

Snowflakeアカウントを設定する¶

Snowflakeアカウント管理者として、以下のタスクを実行します。

1. タイプを SERVICE としてSnowflakeユーザーを作成します。

   複製データを格納するデータベースとスキーマを作成し， USAGE と CREATE TABLE 権限 を付与して，サービスユーザーが宛先スキーマにテーブルを作成できる権限を設定します．

   CREATE DATABASE <destination_database>;
   CREATE SCHEMA <destination_database>.<destination_schema>;
   CREATE USER <openflow_user> TYPE=SERVICE COMMENT='Service user for automated access of Openflow';
   CREATE ROLE <openflow_role>;
   GRANT ROLE <openflow_role> TO USER <openflow_user>;
   GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>;
   GRANT USAGE ON SCHEMA <destination_database>.<destination_schema> TO ROLE <openflow_role>;
   GRANT CREATE TABLE ON SCHEMA <destination_database>.<destination_schema> TO ROLE <openflow_role>;
   CREATE WAREHOUSE <openflow_warehouse>
        WITH
            WAREHOUSE_SIZE = 'SMALL'
            AUTO_SUSPEND = 300
            AUTO_RESUME = TRUE;
   GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
   

   Copy

   1. セキュアキーのペア（公開キーと秘密キー）を作成します。ユーザーの秘密キーをファイルに格納して、コネクタの構成に提供します。Snowflakeサービスユーザーに公開キーを割り当てます：

      ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
      

      Copy

      詳細については、 キーのペア をご参照ください。

2. Snowflakeではこの手順を強く推奨します。Openflowがサポートするシークレットマネージャ（AWS、Azure、Hashicorpなど）を構成し、公開キーと秘密キーを秘密ストアに格納します。

   注釈

   何らかの理由でシークレットマネージャを使用したくない場合は、組織のセキュリティポリシーに従って、キーペア認証に使用する公開キーと秘密キーファイルを保護する責任があります。

   1. シークレットマネージャを構成したら、その認証方法を決定します。AWS 上では、Openflowに関連付けられた EC2 インスタンスロールが推奨されます。こうすることで、他の秘密を永続化する必要がなくなるからです。

   2. Openflowで、右上のハンバーガーメニューから、このシークレットマネージャーに関連付けられたパラメータープロバイダーを構成します。Controller Settings » Parameter Provider に移動してから、パラメーター値を取得します。

   3. この時点で、すべての認証情報を関連するパラメーターパスで参照することができるため、機密性の高い値をOpenflow内で永続化する必要はありません。

3. 他のSnowflakeユーザーが、コネクタによって取り込まれた生の取り込みドキュメントやとテーブルへのアクセスを必要とする場合は（Snowflakeでのカスタム処理のためなど）、それらのユーザーにステップ1で作成したロールを付与します。

4. コネクタが使用するウェアハウスを指定します。以前に作成したロールにウェアハウスの USAGE 権限を付与します。まずは最小のウェアハウスサイズから始め、複製するテーブルの数や転送するデータ量に応じて異なるサイズを試してみてください。テーブル数が大きい場合は、通常、ウェアハウスのサイズを大きくするよりも、 マルチクラスターウェアハウス を使用した方がスケーリングが向上します。

コネクタを設定する¶

データエンジニアとして、以下のタスクを実行してコネクタをインストールおよび構成します。

フローを実行する¶

1. プレーンを右クリックし、 Enable all Controller Services を選択します。

2. インポートしたプロセスグループを右クリックし、 Start を選択します。コネクタがデータの取り込みを開始します。

[
    {
        "table" : "<source table name>",
        "included": ["<column name>", "<column name>"],
        "excluded": ["<column name>", "<column name>"],
        "includedPattern": "<regular expression>",
        "excludedPattern": "<regular expression>",
    }
]