CaptureChangeSqlServer 2025.10.2.19¶
バンドル¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
説明¶
SQL サーバーデータベースから CDC イベントを読み取ります。プロセッサーはデータベース内の変更追跡テーブルを定期的にクエリしますが、対象は TableStateService によって提供されるテーブルのみです。プロセッサーは、各テーブルで最後に処理されたイベントの状態を維持します。プロセッサーは、処理された各テーブルの後の位置を移動します。プロセッサーはマルチスレッドをサポートしています。プールに設定されたスレッド数と接続制限によって、ソースデータベースへのオープン接続の上限が総合的に定義されます。プロセッサーは2種類の FlowFiles を出力します。DDLs にはテーブルの初期スキーマが含まれ、その後スキーマが変更されるたびに出力されます。DMLs にはテーブル内のデータの変更を表すレコードが含まれます。1つの FlowFile は常に1つのテーブルに関連するデータを表します。スキーマ付きの DDL は、 JSON オブジェクトとして FlowFile コンテンツに書き込まれます。形式は次のようになります: { "columns": [ { "name": "<columnName>", "type": "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }, ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...] } DML レコードは次のように構造化されます: { "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }
入力要件¶
FORBIDDEN
機密動的プロパティをサポート¶
false
プロパティ¶
プロパティ |
説明 |
|---|---|
列フィルターストア |
テーブルごとの列フィルター設定を保存するサービス。 |
接続プール |
接続プール |
フェッチサイズ |
一度にメモリにロードされる行の最大数 |
最大バッチサイズ |
バッチで取得する行の最大数。 |
Record Writer |
Record Writerは、 DML イベントをシリアライズするために使用されます。 |
テーブル変更クエリ間隔 |
テーブル変更に対する次のクエリをスケジュールするまでの最小経過時間間隔。これは、過剰な問い合わせを防ぐために、データベースポーリングの頻度を制御します。 |
テーブル・ステート・ストア |
複製されたテーブルの状態を保持する共有ストア。 |
状態管理¶
スコープ |
説明 |
|---|---|
CLUSTER |
各テーブルの最後に処理された記録のバージョンなどの情報は、このプロセッサーによって保存されます。 |
リレーションシップ¶
名前 |
説明 |
|---|---|
success |
CDC ストリームイベントから FlowFile の作成に成功。 |