Openflow Connector for SQL Server の設定¶

前提条件¶

コネクタを設定する前に、以下の前提条件を満たしていることを確認してください。

1. Openflow Connector for SQL Server について を確認してください。

2. サポートされている SQL Serverバージョン を確認してください。

3. ランタイムの展開を設定していることを確認してください。詳細については、次のトピックをご参照ください。

   • Openflowの設定 - BYOC

   • Openflowの設定 - Snowflakeデプロイメント。

4. |OFSFSPCS-plural|を使用する場合、 必要なドメインの構成 を精査し、 SQL サーバー コネクタに必要なドメインへのアクセス許可を付与していることを確認してください。

SQL Serverインスタンスの設定¶

コネクタを設定する前に、SQL Server環境で次のタスクを実行してください。

1. 次のSQL Server の例に示すように、複製する予定の データベース と テーブル で変更の追跡を有効にします。

   ALTER DATABASE <database>
     SET CHANGE_TRACKING = ON
     (CHANGE_RETENTION = 2 DAYS, AUTO_CLEANUP = ON);
   
   ALTER TABLE <schema>.<table>
     ENABLE CHANGE_TRACKING;
   

   Copy

   注釈

   複製する予定のすべてのデータベースとテーブルに対してこれらのコマンドを実行します。

   コネクタは、複製を開始する前に、データベースとテーブルで変更追跡を有効にする必要があります。複製を予定しているすべてのテーブルで、変更の追跡が有効になっていることを確認してください。コネクタの実行中に、追加のテーブルの変更追跡を有効にすることもできます。

2. Create a login for the SQL Serverインスタンスのログインを作成する:

   CREATE LOGIN <user_name> WITH PASSWORD = '<password>';
   

   Copy

   このログインは、複製する予定のデータベースのユーザーを作成するために使用されます。

3. 各データベースで次のSQL Serverコマンドを実行して、複製するデータベースごとにユーザーを作成します。

   USE <source_database>;
   CREATE USER <user_name> FOR LOGIN <user_name>;
   

   Copy

4. 複製する各データベースのユーザーにSELECTおよびVIEW CHANGE TRACKING権限を付与します。

   GRANT SELECT ON <database>.<schema>.<table> TO <user_name>;
   GRANT VIEW CHANGE TRACKING ON <database>.<schema>.<table> TO <user_name>;
   

   Copy

   複製する予定のすべてのテーブルに対して、各データベースでこれらのコマンドを実行します。これらの権限は、前のステップで作成した各データベースのユーザーに付与する必要があります。

5. （オプション）ユーザー定義データ型（UDDT）に対する VIEW DEFINITION 権限を付与します。

   テーブルにユーザー定義データ型（UDDT）を使用する列が含まれていて、UDDT がコネクタユーザーとは異なるユーザーによって所有されている場合は、次のSQL Serverの例に示すように、コネクタユーザーに VIEW DEFINITION 権限を付与する必要があります。

   GRANT VIEW DEFINITION TO <user_name>;
   

   Copy

   この権限がない場合、UDDT を使用する列は自動的に複製から除外されます。

6. （オプション）SSL接続を構成します。

   SSL接続を使用してSQL Server に接続する場合は、データベースサーバーのルート証明書を作成します。これはコネクタを構成するときに必要です。

Snowflake環境のセットアップ¶

Snowflake管理者は以下のタスクを実行します。

1. 複製されたデータを格納するために、Snowflake内に宛先データベースを作成します。

   CREATE DATABASE <destination_database>;
   

   Copy

2. Snowflakeの サービスユーザー を作成します。

   CREATE USER <openflow_user>
     TYPE = SERVICE
     COMMENT='Service user for automated access of Openflow';
   

   Copy

3. コネクタ用Snowflakeロールを作成し、必要な権限を付与します。

   CREATE ROLE <openflow_role>;
   GRANT ROLE <openflow_role> TO USER <openflow_user>;
   GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>;
   GRANT CREATE SCHEMA ON DATABASE <destination_database> TO ROLE <openflow_role>;
   

   Copy

   このロールを使用して、コネクタのSnowflakeデータベースへのアクセスを管理します。

   宛先データベースにオブジェクトを作成するには、アクセス管理に使用するロールに、データベースに対する USAGE権限およびCREATE SCHEMA権限 を付与する必要があります。

4. コネクタ用にSnowflakeウェアハウスを作成し、必要な権限を付与します。

   CREATE WAREHOUSE <openflow_warehouse> WITH
     WAREHOUSE_SIZE = 'XSMALL'
     AUTO_SUSPEND = 300
     AUTO_RESUME = TRUE;
   GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
   

   Copy

   Snowflakeは、XSMALLウェアハウスサイズから始めて、複製されるテーブルの数と転送されるデータの量に応じてサイズ変更を試してみることを推奨しています。多数のテーブルを扱う場合、通常はウェアハウスサイズを大きくするよりも、マルチクラスターのウェアハウスを使用した方が適切にスケールできます。詳細については、 マルチクラスターウェアハウス をご参照ください。

5. キーペア認証用のパブリックキーとプライベートキーを設定します。

   1. 安全なキーのペア（パブリックおよび秘密）を作成します。

   2. ユーザーのプライベートキーをファイルに保存し、コネクタの構成に提供します。

   3. Snowflakeユーザーに公開キーを割り当てます：

      ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
      

      Copy

      詳細については、 キーペア認証とキーペアローテーション をご参照ください。

コネクタをインストールする¶

コネクタをインストールするには、データエンジニアとして次を実行します。

1. Openflow概要ページに移動します。Featured connectors セクションで、 View more connectors を選択します。

2. Openflowのコネクタページでコネクタを探し、 Add to runtime を選択します。

3. Select runtime ダイアログで、Available runtimes ドロップダウンリストからランタイムを選択して Add をクリックします。

   注釈

   コネクタをインストールする前に、コネクタが取り込んだデータを格納するためのデータベースとスキーマをSnowflakeで作成したことを確認します。

4. Snowflakeアカウント認証情報でデプロイメントを認証し、Snowflakeアカウントへのランタイムアプリケーションのアクセスを許可するよう求められたられたら、 Allow を選択します。コネクタのインストールプロセスは数分で完了します。

5. Snowflakeアカウント認証情報でランタイムを認証します。

コネクタプロセスグループが追加されたOpenflowキャンバスが表示されます。

コネクタを構成する¶

コネクタを構成するには、データエンジニアとして次の手順を実行します。

1. インポートしたプロセスグループを右クリックし、 Parameters を選択します。

2. フローパラメーター の説明に従って、必要なパラメーター値を入力します。

[
    {
        "schema": "<source table schema>",
        "table" : "<source table name>",
        "included": ["<column name>", "<column name>"],
        "excluded": ["<column name>", "<column name>"],
        "includedPattern": "<regular expression>",
        "excludedPattern": "<regular expression>",
    }
]

customers_1234_1
customers_1234_2
orders_5678_1
orders_5678_2

フローを実行する¶

1. プレーンを右クリックし、 Enable all Controller Services を選択します。

2. インポートしたプロセスグループを右クリックし、 Start を選択します。コネクタがデータの取り込みを開始します。