CaptureChangePostgreSQL 2025.5.31.15¶
バンドル¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
説明¶
PostgreSQL データベースから CDC イベントを読み込みます。プロセッサーはストリームに到着するイベントを継続的に読み込み、 TableStateService が提供するテーブルに関連するものをフィルターし、残りを破棄します。現在のイベントのバッチが処理された後、プロセッサーは複製スロットの位置を PostgreSQL に確認し、 WAL をトリミングさせます。プロセッサーは2タイプのフローファイルを出力します: DDLs は最初のテーブルのスキーマを含み、 DMLs はテーブルのデータへの変更の記録を表し、スキーマが変わる度にテーブルのデータへの変更の記録を表します。1つのフローファイルは常に1つのテーブルに関連するデータを表します。スキーマを含む DDL は、下記の形式で JSON オブジェクトとして FlowFile コンテンツに書き込まれます。{ "columns": [ { "name": "<columnName>", "type": "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }. ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...]} DML 記録は以下のように構成されます。:{ "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }}
入力要件¶
FORBIDDEN
機密動的プロパティをサポート¶
false
プロパティ¶
プロパティ |
説明 |
---|---|
列フィルターストア |
テーブルごとの列フィルター設定を保存するサービス。 |
JDBC ドライバー 所在地 |
JAR ドライバーとその依存関係 (もしあれば) を含むファイル/フォルダおよび/または URLs のカンマ区切りリスト。例えば、'/var/tmp/postgresql-java-client-42.7.5.jar' です。 |
JDBC URL |
JDBC URL jdbc:postgresql://localhost:5432/postgresのようなデータベース接続。 |
最大バッチサイズ |
1回の反復で処理する最大記録数 |
最大バッチ待ち時間 |
CDC ストリームにデータが表示されるまでの最大待機時間。 |
パスワード |
PostgreSQL データベースへのアクセスパスワード |
出版物名 |
読み込む CDC 出版物の名前。 |
Record Writer |
Record Writerは、 DML イベントをシリアライズするために使用されます。 |
SSL コンテキストサービス |
SSL 暗号化ソケット通信をサポートするコンテキストサービス |
SSL モード |
PostgreSQL への接続時に SSL を使用するかどうか |
テーブル・ステート・ストア |
複製されたテーブルの状態を保持する共有ストア。 |
ユーザー名 |
PostgreSQL データベースにアクセスするためのユーザー名 |
状態管理¶
スコープ |
説明 |
---|---|
CLUSTER |
このプロセッサーには、データベース内の現在の CDC イベントへの「ポインタ」などの情報が格納され、再起動しても同じ場所から続行できるようになっています。また、 PostgreSQL で作成された複製スロットの名前も格納されます。 |
リレーションシップ¶
名前 |
説明 |
---|---|
success |
CDC ストリームイベントから FlowFile の作成に成功。 |
属性の書き込み¶
名前 |
説明 |
---|---|
source.schema.name |
イベントの発生元テーブルのスキーマ名 |
source.table.name |
イベントの発生元テーブル名 |
cdc.event.type |
フローファイルが伝えるイベントのタイプ:ddlまたはdml |
cdc.most.significant.position |
CDCストリームにおけるDdLの最も重要なポジション |
cdc.least.significant.position |
CDCストリームにおけるDdLの最下位ポジション |
cdc.event.seen.at |
ddlイベントがプロセッサに読み込まれた時点からのタイムスタンプ。 |