Openflow Connector for PostgreSQL について¶

ワークフロー¶

1. データベース管理者 は、 PostgreSQL 複製設定を構成し、パブリケーションおよびコネクタの認証情報を作成します。オプションとして、 SSL 証明書を提供します。

2. Snowflakeアカウント管理者 は以下のタスクを実行します。

   1. コネクタのサービスユーザー、コネクタのウェアハウス、複製する宛先データベースを作成します。

   2. コネクタをインストールします。

   3. フローテンプレートに必要なパラメーターを指定します。

   4. フローを実行します。コネクタは、Openflowの実行時に以下のタスクを実行します。

      1. ジャーナルテーブルのスキーマを作成します。

      2. 複製用に構成されたソーステーブルと一致するスキーマと宛先テーブルを作成します。

      3. テーブル複製のライフサイクルに従って複製を開始します。

テーブル複製のライフサイクル¶

1. スキーマのイントロスペクション: コネクタはソーステーブルの列、名前、タイプを検出し、Snowflakeとコネクタの制限事項に対してそれらを検証します。検証に失敗するとこのステージは失敗し、サイクルが完了します。スキーマイントロスペクションが正常に完了すると、コネクタは空の宛先テーブルを作成します。

2. スナップショットロード: コネクタは、ソーステーブルで利用可能なすべてのデータを宛先テーブルにコピーします。このステージに失敗するとサイクルは終了し、それ以上のデータは複製されません。正常に完了すると、ソーステーブルのデータセット全体が宛先テーブルで利用可能になります。

3. 増分ロード: コネクタはソーステーブルの変更の追跡と宛先テーブルへのコピーを続けます。これは、テーブルがレプリケーションから削除されるまで続きます。このステージで失敗すると、問題が解決するまでソーステーブルの複製が永久的に停止します。

サポートされている PostgreSQL バージョン¶

サポートされている PostgresSQL のバージョンは以下のとおりです。

Openflow要件¶

• ランタイムのサイズはM以上である必要があります。大量のデータを複製する場合、特に行サイズが大きい場合は、より大きなランタイムを使用します。

• コネクタは、マルチノードのOpenflowランタイムをサポートしていません。このコネクタのランタイムを、 Min nodes および Max nodes を 1 に設定して構成します。

制限事項¶

• コネクタは PostgreSQL バージョン11以降をサポートしています。

• コネクタは、 PostgreSQL を使用したユーザー名とパスワードによる認証のみをサポートしています。

• コネクタは PostgreSQL 読み取りレプリカインスタンスをサポートしていません。

• コネクタはパーティション化されたテーブルをサポートしていません。

• コネクタは、 Snowflakeのタイプ制限 を超えるデータを持つテーブルを複製しません。

• コネクタは、 TOAST 値 を持つテーブルを複製しません。

• コネクタでは、複製されるすべてのテーブルに主キーが必要であり、そのテーブルの複製アイデンティティが主キーと同じである必要があります。

• コネクタは、主キーの定義の変更、数値列の精度やスケールの変更を除いて、ソーステーブルのスキーマの変更をサポートしています。

次のステップ¶

の設定 Openflow Connector for PostgreSQL