CaptureChangePostgreSQL 2025.10.2.19

バンドル

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

説明

PostgreSQL データベースから CDC イベントを読み込みます。プロセッサーは、ストリームに到着したイベントを継続的に読み込み、 TableStateService によって提供されたテーブルに関連するイベントをフィルタリングし、残りを破棄します。現在のイベントのバッチ処理が完了すると、プロセッサーは複製スロットの位置を PostgreSQL に確認として返し、 WAL をトリミングできるようにします。プロセッサーは2種類の FlowFiles を出力します。DDLs にはテーブルの初期スキーマが含まれ、その後スキーマが変更されるたびに出力されます。DMLs にはテーブル内のデータの変更を表すレコードが含まれます。1つの FlowFile は常に1つのテーブルに関連するデータを表します。スキーマを含む DDL は、 FlowFile コンテンツ内に JSON オブジェクトとして書き込まれ、次のような形式になります: "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }, ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...] } DML レコードは以下のような構造n造いなっています: { "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }

タグ

cdc、イベント、jdbc、postgresql、sql

入力要件

FORBIDDEN

機密動的プロパティをサポート

false

プロパティ

プロパティ

説明

列フィルターストア

テーブルごとの列フィルター設定を保存するサービス。

JDBC ドライバー 所在地

JAR ドライバーとその依存関係 (もしあれば) を含むファイル/フォルダおよび/または URLs のカンマ区切りリスト。例えば、'/var/tmp/postgresql-java-client-42.7.5.jar' です。

JDBC URL

JDBC URL jdbc:postgresql://localhost:5432/postgresのようなデータベース接続。

最大バッチサイズ

1回の反復で処理する最大記録数

最大バッチ待ち時間

CDC ストリームにデータが表示されるまでの最大待機時間。

パスワード

PostgreSQL データベースへのアクセスパスワード

出版物名

読み込む CDC 出版物の名前。

Record Writer

Record Writerは、 DML イベントをシリアライズするために使用されます。

複製スロット名

使用する複製スロットの名前。最大63文字。スロットが存在しない場合は、プロセッサーがスロットを作成します。

SSL コンテキストサービス

SSL 暗号化ソケット通信をサポートするコンテキストサービス

SSL モード

PostgreSQL への接続時に SSL を使用するかどうか

TOASTed 値プレースホルダー

TOASTed 列に入れる値

TOASTed 値戦略

TOASTed 値の処理方法を決定します。

テーブル・ステート・ストア

複製されたテーブルの状態を保持する共有ストア。

ユーザー名

PostgreSQL データベースにアクセスするためのユーザー名

状態管理

スコープ

説明

CLUSTER

このプロセッサーには、データベース内の現在の CDC イベントへの「ポインタ」などの情報が格納され、再起動しても同じ場所から続行できるようになっています。また、 PostgreSQL で作成された複製スロットの名前も格納されます。

リレーションシップ

名前

説明

success

CDC ストリームイベントから FlowFile の作成に成功。

属性の書き込み

名前

説明

source.schema.name

イベントの発生元テーブルのスキーマ名

source.table.name

イベントの発生元テーブル名

cdc.event.type

FlowFile によって伝送されるイベントのタイプ:ddlまたはdml

cdc.most.significant.position

CDCストリームにおけるDdLの最も重要なポジション

cdc.least.significant.position

CDCストリームにおけるDdLの最下位ポジション

cdc.event.seen.at

ddlイベントがプロセッサに読み込まれた時点からのタイムスタンプ。