CaptureChangePostgreSQL 2025.10.2.19

バンドル

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

説明

Reads CDC events from a PostgreSQL database. The processor continuously reads events arriving in the stream, filtering for those related to tables provided by the TableStateService, and discarding the rest. After the current batch of events is processed, the processor confirms the replication slot position back to PostgreSQL, letting it trim the WAL. The processor outputs two types of FlowFiles: DDLs, containing the initial schema of a table, and then every time its schema changes, and DMLs, with records representing changes to data in the table. One FlowFile always represents data related to a single table. The DDL with the schema is written to the FlowFile content as a JSON object, in a form such as: { "columns": [ { "name": "<columnName>", "type": "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }, ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...] } The DML records are structured as: { "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }

タグ

cdc、イベント、jdbc、postgresql、sql

入力要件

FORBIDDEN

機密動的プロパティをサポート

false

プロパティ

プロパティ

説明

列フィルターストア

テーブルごとの列フィルター設定を保存するサービス。

JDBC ドライバー 所在地

JAR ドライバーとその依存関係 (もしあれば) を含むファイル/フォルダおよび/または URLs のカンマ区切りリスト。例えば、'/var/tmp/postgresql-java-client-42.7.5.jar' です。

JDBC URL

JDBC URL jdbc:postgresql://localhost:5432/postgresのようなデータベース接続。

最大バッチサイズ

1回の反復で処理する最大記録数

最大バッチ待ち時間

CDC ストリームにデータが表示されるまでの最大待機時間。

パスワード

PostgreSQL データベースへのアクセスパスワード

出版物名

読み込む CDC 出版物の名前。

Record Writer

Record Writerは、 DML イベントをシリアライズするために使用されます。

Replication Slot Name

使用する複製スロットの名前。最大63文字。スロットが存在しない場合は、プロセッサーがスロットを作成します。

SSL コンテキストサービス

SSL 暗号化ソケット通信をサポートするコンテキストサービス

SSL モード

PostgreSQL への接続時に SSL を使用するかどうか

TOASTed 値プレースホルダー

TOASTed 列に入れる値

TOASTed 値戦略

TOASTed 値の処理方法を決定します。

テーブル・ステート・ストア

複製されたテーブルの状態を保持する共有ストア。

ユーザー名

PostgreSQL データベースにアクセスするためのユーザー名

状態管理

スコープ

説明

CLUSTER

このプロセッサーには、データベース内の現在の CDC イベントへの「ポインタ」などの情報が格納され、再起動しても同じ場所から続行できるようになっています。また、 PostgreSQL で作成された複製スロットの名前も格納されます。

リレーションシップ

名前

説明

success

CDC ストリームイベントから FlowFile の作成に成功。

属性の書き込み

名前

説明

source.schema.name

イベントの発生元テーブルのスキーマ名

source.table.name

イベントの発生元テーブル名

cdc.event.type

Type of event carried by the FlowFile: ddl or dml

cdc.most.significant.position

CDCストリームにおけるDdLの最も重要なポジション

cdc.least.significant.position

CDCストリームにおけるDdLの最下位ポジション

cdc.event.seen.at

ddlイベントがプロセッサに読み込まれた時点からのタイムスタンプ。