CaptureChangeSqlServer 2025.10.2.19

バンドル

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

説明

Reads CDC events from a SQL Server database. The processor periodically queries Change Tracking tables in the database, but only for the tables provided by the TableStateService. The processor maintains a state of the last processed event for each table. The processor moves the position after each processed table. The processor supports multi-threading. The number of threads and connection limit configured in the pool collectively define the upper bound of open connections to the source database. The processor outputs two types of FlowFiles: DDLs, containing the initial schema of a table, and then every time its schema changes, and DMLs, with records representing changes to data in the table. One FlowFile always represents data related to a single table. The DDL with the schema is written to the FlowFile content as a JSON object, in a form such as: { "columns": [ { "name": "<columnName>", "type": "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }, ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...] } The DML records are structured as: { "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }

タグ

cdc, イベント, jdbc, sql, sql server

入力要件

FORBIDDEN

機密動的プロパティをサポート

false

プロパティ

プロパティ

説明

列フィルターストア

テーブルごとの列フィルター設定を保存するサービス。

接続プール

接続プール

フェッチサイズ

一度にメモリにロードされる行の最大数

最大バッチサイズ

バッチで取得する行の最大数。

Record Writer

Record Writerは、 DML イベントをシリアライズするために使用されます。

テーブル変更クエリ間隔

テーブル変更に対する次のクエリをスケジュールするまでの最小経過時間間隔。これは、過剰な問い合わせを防ぐために、データベースポーリングの頻度を制御します。

テーブル・ステート・ストア

複製されたテーブルの状態を保持する共有ストア。

状態管理

スコープ

説明

CLUSTER

各テーブルの最後に処理された記録のバージョンなどの情報は、このプロセッサーによって保存されます。

リレーションシップ

名前

説明

success

CDC ストリームイベントから FlowFile の作成に成功。