CaptureChangePostgreSQL 2025.5.31.15¶
バンドル¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
説明¶
PostgreSQL データベースから CDC イベントを読み込みます。プロセッサーはストリームに到着するイベントを継続的に読み込み、 TableStateService が提供するテーブルに関連するものをフィルターし、残りを破棄します。現在のイベントのバッチが処理された後、プロセッサーは複製スロットの位置を PostgreSQL に確認し、 WAL をトリミングさせます。プロセッサーは2タイプのフローファイルを出力します: DDLs は最初のテーブルのスキーマを含み、 DMLs はテーブルのデータへの変更の記録を表し、スキーマが変わる度にテーブルのデータへの変更の記録を表します。1つのフローファイルは常に1つのテーブルに関連するデータを表します。スキーマを含む DDL は、下記の形式で JSON オブジェクトとして FlowFile コンテンツに書き込まれます。{ "columns": [ { "name": "<columnName>", "type": "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }. ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...]} DML 記録は以下のように構成されます。:{ "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }}
入力要件¶
FORBIDDEN
機密動的プロパティをサポート¶
false
プロパティ¶
| プロパティ | 説明 | 
|---|---|
| 列フィルターストア | テーブルごとの列フィルター設定を保存するサービス。 | 
| JDBC ドライバー 所在地 | JAR ドライバーとその依存関係 (もしあれば) を含むファイル/フォルダおよび/または URLs のカンマ区切りリスト。例えば、'/var/tmp/postgresql-java-client-42.7.5.jar' です。 | 
| JDBC URL | JDBC URL jdbc:postgresql://localhost:5432/postgresのようなデータベース接続。 | 
| 最大バッチサイズ | 1回の反復で処理する最大記録数 | 
| 最大バッチ待ち時間 | CDC ストリームにデータが表示されるまでの最大待機時間。 | 
| パスワード | PostgreSQL データベースへのアクセスパスワード | 
| 出版物名 | 読み込む CDC 出版物の名前。 | 
| Record Writer | Record Writerは、 DML イベントをシリアライズするために使用されます。 | 
| SSL コンテキストサービス | SSL 暗号化ソケット通信をサポートするコンテキストサービス | 
| SSL モード | PostgreSQL への接続時に SSL を使用するかどうか | 
| テーブル・ステート・ストア | 複製されたテーブルの状態を保持する共有ストア。 | 
| ユーザー名 | PostgreSQL データベースにアクセスするためのユーザー名 | 
状態管理¶
| スコープ | 説明 | 
|---|---|
| CLUSTER | このプロセッサーには、データベース内の現在の CDC イベントへの「ポインタ」などの情報が格納され、再起動しても同じ場所から続行できるようになっています。また、 PostgreSQL で作成された複製スロットの名前も格納されます。 | 
リレーションシップ¶
| 名前 | 説明 | 
|---|---|
| success | CDC ストリームイベントから FlowFile の作成に成功。 | 
属性の書き込み¶
| 名前 | 説明 | 
|---|---|
| source.schema.name | イベントの発生元テーブルのスキーマ名 | 
| source.table.name | イベントの発生元テーブル名 | 
| cdc.event.type | フローファイルが伝えるイベントのタイプ:ddlまたはdml | 
| cdc.most.significant.position | CDCストリームにおけるDdLの最も重要なポジション | 
| cdc.least.significant.position | CDCストリームにおけるDdLの最下位ポジション | 
| cdc.event.seen.at | ddlイベントがプロセッサに読み込まれた時点からのタイムスタンプ。 |