CaptureChangePostgreSQL 2025.10.2.19¶
バンドル¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
説明¶
Reads CDC events from a PostgreSQL database. The processor continuously reads events arriving in the stream, filtering for those related to tables provided by the TableStateService, and discarding the rest. After the current batch of events is processed, the processor confirms the replication slot position back to PostgreSQL, letting it trim the WAL. The processor outputs two types of FlowFiles: DDLs, containing the initial schema of a table, and then every time its schema changes, and DMLs, with records representing changes to data in the table. One FlowFile always represents data related to a single table. The DDL with the schema is written to the FlowFile content as a JSON object, in a form such as: { "columns": [ { "name": "<columnName>", "type": "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }, ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...] } The DML records are structured as: { "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }
入力要件¶
FORBIDDEN
機密動的プロパティをサポート¶
false
プロパティ¶
プロパティ |
説明 |
|---|---|
列フィルターストア |
テーブルごとの列フィルター設定を保存するサービス。 |
JDBC ドライバー 所在地 |
JAR ドライバーとその依存関係 (もしあれば) を含むファイル/フォルダおよび/または URLs のカンマ区切りリスト。例えば、'/var/tmp/postgresql-java-client-42.7.5.jar' です。 |
JDBC URL |
JDBC URL jdbc:postgresql://localhost:5432/postgresのようなデータベース接続。 |
最大バッチサイズ |
1回の反復で処理する最大記録数 |
最大バッチ待ち時間 |
CDC ストリームにデータが表示されるまでの最大待機時間。 |
パスワード |
PostgreSQL データベースへのアクセスパスワード |
出版物名 |
読み込む CDC 出版物の名前。 |
Record Writer |
Record Writerは、 DML イベントをシリアライズするために使用されます。 |
Replication Slot Name |
使用する複製スロットの名前。最大63文字。スロットが存在しない場合は、プロセッサーがスロットを作成します。 |
SSL コンテキストサービス |
SSL 暗号化ソケット通信をサポートするコンテキストサービス |
SSL モード |
PostgreSQL への接続時に SSL を使用するかどうか |
TOASTed 値プレースホルダー |
TOASTed 列に入れる値 |
TOASTed 値戦略 |
TOASTed 値の処理方法を決定します。 |
テーブル・ステート・ストア |
複製されたテーブルの状態を保持する共有ストア。 |
ユーザー名 |
PostgreSQL データベースにアクセスするためのユーザー名 |
状態管理¶
スコープ |
説明 |
|---|---|
CLUSTER |
このプロセッサーには、データベース内の現在の CDC イベントへの「ポインタ」などの情報が格納され、再起動しても同じ場所から続行できるようになっています。また、 PostgreSQL で作成された複製スロットの名前も格納されます。 |
リレーションシップ¶
名前 |
説明 |
|---|---|
success |
CDC ストリームイベントから FlowFile の作成に成功。 |
属性の書き込み¶
名前 |
説明 |
|---|---|
source.schema.name |
イベントの発生元テーブルのスキーマ名 |
source.table.name |
イベントの発生元テーブル名 |
cdc.event.type |
Type of event carried by the FlowFile: ddl or dml |
cdc.most.significant.position |
CDCストリームにおけるDdLの最も重要なポジション |
cdc.least.significant.position |
CDCストリームにおけるDdLの最下位ポジション |
cdc.event.seen.at |
ddlイベントがプロセッサに読み込まれた時点からのタイムスタンプ。 |