CaptureChangeSqlServer 2025.10.2.19

バンドル

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

説明

SQL サーバーデータベースから CDC イベントを読み取ります。プロセッサーはデータベース内の変更追​​跡テーブルを定期的にクエリしますが、対象は TableStateService によって提供されるテーブルのみです。プロセッサーは、各テーブルで最後に処理されたイベントの状態を維持します。プロセッサーは、処理された各テーブルの後の位置を移動します。プロセッサーはマルチスレッドをサポートしています。プールに設定されたスレッド数と接続制限によって、ソースデータベースへのオープン接続の上限が総合的に定義されます。プロセッサーは2種類の FlowFiles を出力します。DDLs にはテーブルの初期スキーマが含まれ、その後スキーマが変更されるたびに出力されます。DMLs にはテーブル内のデータの変更を表すレコードが含まれます。1つの FlowFile は常に1つのテーブルに関連するデータを表します。スキーマ付きの DDL は、 JSON オブジェクトとして FlowFile コンテンツに書き込まれます。形式は次のようになります: { "columns": [ { "name": "<columnName>", "type": "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }, ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...] } DML レコードは次のように構造化されます: { "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }

タグ

cdc, イベント, jdbc, sql, sql server

入力要件

FORBIDDEN

機密動的プロパティをサポート

false

プロパティ

プロパティ

説明

列フィルターストア

テーブルごとの列フィルター設定を保存するサービス。

接続プール

接続プール

フェッチサイズ

一度にメモリにロードされる行の最大数

最大バッチサイズ

バッチで取得する行の最大数。

Record Writer

Record Writerは、 DML イベントをシリアライズするために使用されます。

テーブル変更クエリ間隔

テーブル変更に対する次のクエリをスケジュールするまでの最小経過時間間隔。これは、過剰な問い合わせを防ぐために、データベースポーリングの頻度を制御します。

テーブル・ステート・ストア

複製されたテーブルの状態を保持する共有ストア。

状態管理

スコープ

説明

CLUSTER

各テーブルの最後に処理された記録のバージョンなどの情報は、このプロセッサーによって保存されます。

リレーションシップ

名前

説明

success

CDC ストリームイベントから FlowFile の作成に成功。