CaptureChangeSqlServer 2025.10.2.19¶
バンドル¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
説明¶
Reads CDC events from a SQL Server database. The processor periodically queries Change Tracking tables in the database, but only for the tables provided by the TableStateService. The processor maintains a state of the last processed event for each table. The processor moves the position after each processed table. The processor supports multi-threading. The number of threads and connection limit configured in the pool collectively define the upper bound of open connections to the source database. The processor outputs two types of FlowFiles: DDLs, containing the initial schema of a table, and then every time its schema changes, and DMLs, with records representing changes to data in the table. One FlowFile always represents data related to a single table. The DDL with the schema is written to the FlowFile content as a JSON object, in a form such as: { "columns": [ { "name": "<columnName>", "type": "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }, ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...] } The DML records are structured as: { "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }
入力要件¶
FORBIDDEN
機密動的プロパティをサポート¶
false
プロパティ¶
プロパティ |
説明 |
|---|---|
列フィルターストア |
テーブルごとの列フィルター設定を保存するサービス。 |
接続プール |
接続プール |
フェッチサイズ |
一度にメモリにロードされる行の最大数 |
最大バッチサイズ |
バッチで取得する行の最大数。 |
Record Writer |
Record Writerは、 DML イベントをシリアライズするために使用されます。 |
テーブル変更クエリ間隔 |
テーブル変更に対する次のクエリをスケジュールするまでの最小経過時間間隔。これは、過剰な問い合わせを防ぐために、データベースポーリングの頻度を制御します。 |
テーブル・ステート・ストア |
複製されたテーブルの状態を保持する共有ストア。 |
状態管理¶
スコープ |
説明 |
|---|---|
CLUSTER |
各テーブルの最後に処理された記録のバージョンなどの情報は、このプロセッサーによって保存されます。 |
リレーションシップ¶
名前 |
説明 |
|---|---|
success |
CDC ストリームイベントから FlowFile の作成に成功。 |