Openflow Connector for SQL Server の設定¶

前提条件¶

コネクタを設定する前に、以下の前提条件を満たしていることを確認してください。

1. Openflow Connector for SQL Server について を確認してください。

2. サポートされている SQL Serverバージョン を確認してください。

3. ランタイムの展開を設定していることを確認してください。詳細については、次のトピックをご参照ください。

   • Openflowの設定 - BYOC

   • Openflowの設定 - Snowflakeデプロイメント。

4. |OFSFSPCS-plural|を使用する場合、 必要なドメインの構成 を精査し、 SQL サーバー コネクタに必要なドメインへのアクセス許可を付与していることを確認してください。

SQL Serverインスタンスの設定¶

コネクタを設定する前に、SQL Server環境で次のタスクを実行してください。

1. 次のSQL Server の例に示すように、複製する予定の データベース と テーブル で変更の追跡を有効にします。

   ALTER DATABASE <database>
     SET CHANGE_TRACKING = ON
     (CHANGE_RETENTION = 2 DAYS, AUTO_CLEANUP = ON);
   
   ALTER TABLE <schema>.<table>
     ENABLE CHANGE_TRACKING
     WITH (TRACK_COLUMNS_UPDATED = ON);
   

   Copy

   注釈

   複製する予定のすべてのデータベースとテーブルに対してこれらのコマンドを実行します。

   コネクタは、複製を開始する前に、データベースとテーブルで変更追跡を有効にする必要があります。複製を予定しているすべてのテーブルで、変更の追跡が有効になっていることを確認してください。コネクタの実行中に、追加のテーブルの変更追跡を有効にすることもできます。

2. Create a login for the SQL Serverインスタンスのログインを作成する:

   CREATE LOGIN <user_name> WITH PASSWORD = '<password>';
   

   Copy

   このログインは、複製する予定のデータベースのユーザーを作成するために使用されます。

3. 各データベースで次のSQL Serverコマンドを実行して、複製するデータベースごとにユーザーを作成します。

   USE <source_database>;
   CREATE USER <user_name> FOR LOGIN <user_name>;
   

   Copy

4. 複製する各データベースのユーザーにSELECTおよびVIEW CHANGE TRACKING権限を付与します。

   GRANT SELECT ON <database>.<schema>.<table> TO <user_name>;
   GRANT VIEW CHANGE TRACKING ON <database>.<schema>.<table> TO <user_name>;
   

   Copy

   複製する予定のすべてのテーブルに対して、各データベースでこれらのコマンドを実行します。これらの権限は、前のステップで作成した各データベースのユーザーに付与する必要があります。

5. （オプション）SSL接続を構成します。

   SSL接続を使用してSQL Server に接続する場合は、データベースサーバーのルート証明書を作成します。これはコネクタを構成するときに必要です。

Snowflake環境のセットアップ¶

Snowflake管理者は以下のタスクを実行します。

1. 複製されたデータを格納するために、Snowflake内に宛先データベースを作成します。

   CREATE DATABASE <destination_database>;
   

   Copy

2. Snowflakeの サービスユーザー を作成します。

   CREATE USER <openflow_user>
     TYPE = SERVICE
     COMMENT='Service user for automated access of Openflow';
   

   Copy

3. コネクタ用Snowflakeロールを作成し、必要な権限を付与します。

   CREATE ROLE <openflow_role>;
   GRANT ROLE <openflow_role> TO USER <openflow_user>;
   GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>;
   GRANT CREATE SCHEMA ON DATABASE <destination_database> TO ROLE <openflow_role>;
   

   Copy

   このロールを使用して、コネクタのSnowflakeデータベースへのアクセスを管理します。

   宛先データベースにオブジェクトを作成するには、アクセス管理に使用するロールに、データベースに対する USAGE権限およびCREATE SCHEMA権限 を付与する必要があります。

4. コネクタ用にSnowflakeウェアハウスを作成し、必要な権限を付与します。

   CREATE WAREHOUSE <openflow_warehouse> WITH
     WAREHOUSE_SIZE = 'XSMALL'
     AUTO_SUSPEND = 300
     AUTO_RESUME = TRUE;
   GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
   

   Copy

   Snowflake recommends starting with a XSMALL warehouse size, then experimenting with size depending on the number of tables being replicated and the amount of data transferred. Large numbers of tables typically scale better with multi-cluster warehouses, rather than a larger warehouse size. For more information, see multi-cluster warehouses.

5. キーペア認証用のパブリックキーとプライベートキーを設定します。

   1. 安全なキーのペア（パブリックおよび秘密）を作成します。

   2. ユーザーのプライベートキーをファイルに保存し、コネクタの構成に提供します。

   3. Snowflakeユーザーに公開キーを割り当てます：

      ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
      

      Copy

      詳細については、 キーペア認証とキーペアローテーション をご参照ください。

コネクタを構成する¶

データエンジニアは、次のセクションを使用してコネクタをインストールおよび構成します。

コネクタをインストールする¶

1. Openflow概要ページに移動します。Featured connectors セクションで、 View more connectors を選択します。

2. Openflowのコネクタページでコネクタを探し、 Add to runtime を選択します。

3. Select runtime ダイアログで、Available runtimes ドロップダウンリストからランタイムを選択して Add をクリックします。

   注釈

   コネクタをインストールする前に、コネクタが取り込んだデータを格納するためのデータベースとスキーマをSnowflakeで作成したことを確認します。

4. Snowflakeアカウント認証情報でデプロイメントを認証し、Snowflakeアカウントへのランタイムアプリケーションのアクセスを許可するよう求められたられたら、 Allow を選択します。コネクタのインストールプロセスは数分で完了します。

5. Snowflakeアカウント認証情報でランタイムを認証します。

コネクタプロセスグループが追加されたOpenflowキャンバスが表示されます。

コネクタを構成する¶

コネクタを構成するには、次のステップを実行します。

1. インポートしたプロセスグループを右クリックし、 Parameters を選択します。

2. フローパラメーター の説明に従って、必要なパラメーター値を入力します。

テーブルを削除し、複製に再追加する¶

複製からテーブルを削除するには、複製パラメーターコンテキストの Included Table Names または Included Table Regex パラメーターからテーブルを削除します。

後でテーブルを複製に再度追加するには、まずはSnowflake内の対応する宛先テーブルを削除します。その後、テーブルを Included Table Names または Included Table Regex パラメーターに再度追加します。これにより、テーブルの複製プロセスが新しく開始されるようになります。

このアプローチは、失敗したテーブル複製シナリオからの復旧にも使用できます。

[
    {
        "schema": "<source table schema>",
        "table" : "<source table name>",
        "included": ["<column name>", "<column name>"],
        "excluded": ["<column name>", "<column name>"],
        "includedPattern": "<regular expression>",
        "excludedPattern": "<regular expression>",
    }
]

customers_1234_1
customers_1234_2
orders_5678_1
orders_5678_2

フローを実行する¶

1. プレーンを右クリックし、 Enable all Controller Services を選択します。

2. インポートしたプロセスグループを右クリックし、 Start を選択します。コネクタがデータの取り込みを開始します。