CaptureChangePostgreSQL 2025.5.31.15

バンドル

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

説明

PostgreSQL データベースから CDC イベントを読み込みます。プロセッサーはストリームに到着するイベントを継続的に読み込み、 TableStateService が提供するテーブルに関連するものをフィルターし、残りを破棄します。現在のイベントのバッチが処理された後、プロセッサーは複製スロットの位置を PostgreSQL に確認し、 WAL をトリミングさせます。プロセッサーは2タイプのフローファイルを出力します: DDLs は最初のテーブルのスキーマを含み、 DMLs はテーブルのデータへの変更の記録を表し、スキーマが変わる度にテーブルのデータへの変更の記録を表します。1つのフローファイルは常に1つのテーブルに関連するデータを表します。スキーマを含む DDL は、下記の形式で JSON オブジェクトとして FlowFile コンテンツに書き込まれます。{ "columns": [ { "name": "<columnName>", "type": "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }. ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...]} DML 記録は以下のように構成されます。:{ "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }}

タグ

cdc、イベント、jdbc、postgresql、sql

入力要件

FORBIDDEN

機密動的プロパティをサポート

false

プロパティ

プロパティ

説明

列フィルターストア

テーブルごとの列フィルター設定を保存するサービス。

JDBC ドライバー 所在地

JAR ドライバーとその依存関係 (もしあれば) を含むファイル/フォルダおよび/または URLs のカンマ区切りリスト。例えば、'/var/tmp/postgresql-java-client-42.7.5.jar' です。

JDBC URL

JDBC URL jdbc:postgresql://localhost:5432/postgresのようなデータベース接続。

最大バッチサイズ

1回の反復で処理する最大記録数

最大バッチ待ち時間

CDC ストリームにデータが表示されるまでの最大待機時間。

パスワード

PostgreSQL データベースへのアクセスパスワード

出版物名

読み込む CDC 出版物の名前。

Record Writer

Record Writerは、 DML イベントをシリアライズするために使用されます。

SSL コンテキストサービス

SSL 暗号化ソケット通信をサポートするコンテキストサービス

SSL モード

PostgreSQL への接続時に SSL を使用するかどうか

テーブル・ステート・ストア

複製されたテーブルの状態を保持する共有ストア。

ユーザー名

PostgreSQL データベースにアクセスするためのユーザー名

状態管理

スコープ

説明

CLUSTER

このプロセッサーには、データベース内の現在の CDC イベントへの「ポインタ」などの情報が格納され、再起動しても同じ場所から続行できるようになっています。また、 PostgreSQL で作成された複製スロットの名前も格納されます。

リレーションシップ

名前

説明

success

CDC ストリームイベントから FlowFile の作成に成功。

属性の書き込み

名前

説明

source.schema.name

イベントの発生元テーブルのスキーマ名

source.table.name

イベントの発生元テーブル名

cdc.event.type

フローファイルが伝えるイベントのタイプ:ddlまたはdml

cdc.most.significant.position

CDCストリームにおけるDdLの最も重要なポジション

cdc.least.significant.position

CDCストリームにおけるDdLの最下位ポジション

cdc.event.seen.at

ddlイベントがプロセッサに読み込まれた時点からのタイムスタンプ。