CaptureChangePostgreSQL 2025.10.2.19¶
バンドル¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
説明¶
PostgreSQL データベースから CDC イベントを読み込みます。プロセッサーは、ストリームに到着したイベントを継続的に読み込み、 TableStateService によって提供されたテーブルに関連するイベントをフィルタリングし、残りを破棄します。現在のイベントのバッチ処理が完了すると、プロセッサーは複製スロットの位置を PostgreSQL に確認として返し、 WAL をトリミングできるようにします。プロセッサーは2種類の FlowFiles を出力します。DDLs にはテーブルの初期スキーマが含まれ、その後スキーマが変更されるたびに出力されます。DMLs にはテーブル内のデータの変更を表すレコードが含まれます。1つの FlowFile は常に1つのテーブルに関連するデータを表します。スキーマを含む DDL は、 FlowFile コンテンツ内に JSON オブジェクトとして書き込まれ、次のような形式になります: "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }, ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...] } DML レコードは以下のような構造n造いなっています: { "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }
入力要件¶
FORBIDDEN
機密動的プロパティをサポート¶
false
プロパティ¶
プロパティ |
説明 |
|---|---|
列フィルターストア |
テーブルごとの列フィルター設定を保存するサービス。 |
JDBC ドライバー 所在地 |
JAR ドライバーとその依存関係 (もしあれば) を含むファイル/フォルダおよび/または URLs のカンマ区切りリスト。例えば、'/var/tmp/postgresql-java-client-42.7.5.jar' です。 |
JDBC URL |
JDBC URL jdbc:postgresql://localhost:5432/postgresのようなデータベース接続。 |
最大バッチサイズ |
1回の反復で処理する最大記録数 |
最大バッチ待ち時間 |
CDC ストリームにデータが表示されるまでの最大待機時間。 |
パスワード |
PostgreSQL データベースへのアクセスパスワード |
出版物名 |
読み込む CDC 出版物の名前。 |
Record Writer |
Record Writerは、 DML イベントをシリアライズするために使用されます。 |
複製スロット名 |
使用する複製スロットの名前。最大63文字。スロットが存在しない場合は、プロセッサーがスロットを作成します。 |
SSL コンテキストサービス |
SSL 暗号化ソケット通信をサポートするコンテキストサービス |
SSL モード |
PostgreSQL への接続時に SSL を使用するかどうか |
TOASTed 値プレースホルダー |
TOASTed 列に入れる値 |
TOASTed 値戦略 |
TOASTed 値の処理方法を決定します。 |
テーブル・ステート・ストア |
複製されたテーブルの状態を保持する共有ストア。 |
ユーザー名 |
PostgreSQL データベースにアクセスするためのユーザー名 |
状態管理¶
スコープ |
説明 |
|---|---|
CLUSTER |
このプロセッサーには、データベース内の現在の CDC イベントへの「ポインタ」などの情報が格納され、再起動しても同じ場所から続行できるようになっています。また、 PostgreSQL で作成された複製スロットの名前も格納されます。 |
リレーションシップ¶
名前 |
説明 |
|---|---|
success |
CDC ストリームイベントから FlowFile の作成に成功。 |
属性の書き込み¶
名前 |
説明 |
|---|---|
source.schema.name |
イベントの発生元テーブルのスキーマ名 |
source.table.name |
イベントの発生元テーブル名 |
cdc.event.type |
FlowFile によって伝送されるイベントのタイプ:ddlまたはdml |
cdc.most.significant.position |
CDCストリームにおけるDdLの最も重要なポジション |
cdc.least.significant.position |
CDCストリームにおけるDdLの最下位ポジション |
cdc.event.seen.at |
ddlイベントがプロセッサに読み込まれた時点からのタイムスタンプ。 |