Openflow Connector for PostgreSQL について

注釈

コネクタには、 コネクタ利用規約 が適用されます。

このトピックでは、 Openflow Connector for PostgreSQL の基本概念、ワークフロー、および制限事項について説明します。

Openflow Connector for PostgreSQL は、 PostgreSQL データベースインスタンスをSnowflakeに接続し、選択したテーブルのデータをほぼリアルタイムで、または指定したスケジュールで複製します。コネクタは、複製されたテーブルの現在の状態とともに利用可能なすべてのデータ変更のログも作成します。

このコネクタは、以下を実行する場合に使用します。

  • 包括的で一元化されたレポート作成のため、 CDC を使って PostgreSQL データをSnowflakeで複製する

ワークフロー

  1. データベース管理者 は、 PostgreSQL 複製設定を構成し、パブリケーションおよびコネクタの認証情報を作成します。オプションとして、 SSL 証明書を提供します。

  2. Snowflakeアカウント管理者 は以下のタスクを実行します。

    1. コネクタのサービスユーザー、コネクタのウェアハウス、複製する宛先データベースを作成します。

    2. ドキュメントからコネクタ定義ファイルをダウンロードし、Snowflake Openflowキャンバスにインポートします。

    3. フローテンプレートに必要なパラメーターを指定します。

    4. フローを実行します。コネクタは、Openflowの実行時に以下のタスクを実行します。

      1. ジャーナルテーブルのスキーマを作成します。

      2. 複製用に構成されたソーステーブルと一致するスキーマと宛先テーブルを作成します。

      3. テーブル複製のライフサイクルに従って複製を開始します。

テーブル複製のライフサイクル

  1. スキーマのイントロスペクション: コネクタはソーステーブルの列、名前、タイプを検出し、Snowflakeとコネクタの制限事項に対してそれらを検証します。検証に失敗するとこのステージは失敗し、サイクルが完了します。スキーマイントロスペクションが正常に完了すると、コネクタは空の宛先テーブルを作成します。

  2. スナップショットロード: コネクタは、ソーステーブルで利用可能なすべてのデータを宛先テーブルにコピーします。このステージに失敗するとサイクルは終了し、それ以上のデータは複製されません。正常に完了すると、ソーステーブルのデータセット全体が宛先テーブルで利用可能になります。

  3. 増分ロード: コネクタはソーステーブルの変更の追跡と宛先テーブルへのコピーを続けます。これは、テーブルがレプリケーションから削除されるまで続きます。このステージで失敗すると、問題が解決するまでソーステーブルの複製が永久的に停止します。

注釈

接続の問題のような一時的な失敗によってテーブルの複製が停止することはありませんが、サポートされていないデータ型マッピングのような永久的な失敗では、影響を受けたテーブルの複製が停止し、他の構成されたテーブルは変更されないままになります。影響を受けたテーブルの問題を修正したら、そのテーブルを削除し、再び複製に追加することができます。

サポートされている PostgreSQL バージョン

サポートされている PostgresSQL のバージョンは以下のとおりです。

サポートされている PostgreSQL バージョン

11

12

13

14

15

16

17

標準

有り

有り

有り

有り

有り

有り

有り

AWS RDS

有り

有り

有り

有り

有り

有り

有り

Amazon Aurora

有り

有り

有り

有り

有り

有り

GCP Cloud SQL

有り

有り

有り

有り

有り

有り

Azure Database

有り

有り

有り

有り

有り

有り

制限事項

  • コネクタは PostgreSQL バージョン11以降をサポートしています。

  • コネクタは、 PostgreSQL を使用したユーザー名とパスワードによる認証のみをサポートしています。

  • コネクタは PostgreSQL 読み取りレプリカインスタンスをサポートしていません。

  • コネクタは、 Snowflakeのタイプ制限 を超えるデータを持つテーブルを複製しません。

  • コネクタは、 TOAST 値 を持つテーブルを複製しません。

  • コネクタでは、複製されるすべてのテーブルに主キーが必要であり、そのテーブルの複製アイデンティティが主キーと同じである必要があります。

  • コネクタは、主キーの定義の変更、数値列の精度やスケールの変更を除いて、ソーステーブルのスキーマの変更をサポートしています。

  • コネクタは、マルチクラスタのOpenflowランタイムをサポートしていません。

注釈

特定の列を複製から除外することで、特定のテーブル列に影響する制限を回避できます。

次のステップ

Openflow Connector for PostgreSQL を設定する