CaptureChangeSqlServer 2025.5.31.15¶
バンドル¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
説明¶
SQL Server データベースから CDC イベントを読み込みます。プロセッサーは定期的にデータベース内のChange Trackingテーブルで、 TableStateService に発行されたテーブルに対してのみクエリを発行します。プロセッサーは、各テーブルの最後に処理されたイベントの状態を保持します。プロセッサーは、各テーブルを処理した後に位置を移動します。プロセッサーはマルチスレッドに対応しています。プールで構成されたスレッド数と接続制限は、ソースデータベースへのオープン接続の上限を定義します。プロセッサーは2種類のフロータイプを出力します。: DDLs はテーブルの最初のスキーマを含み、その後もスキーマが変わるたびに、 DMLs はテーブルで変更されたデータの記録を表示します。1つの FlowFile は常に1つのテーブルに関連するデータを表します。スキーマを含む DDL は JSON オブジェクトとして FlowFile のコンテンツに以下のように書き込まれます。:{ "columns": [ { "name": "<columnName>", "type": "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }, ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...]}The DML records are structured as:{ "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }}
入力要件¶
FORBIDDEN
機密動的プロパティをサポート¶
false
プロパティ¶
プロパティ |
説明 |
---|---|
列フィルターストア |
テーブルごとの列フィルター設定を保存するサービス。 |
接続プール |
接続プール |
フェッチサイズ |
一度にメモリにロードされる行の最大数 |
最大バッチサイズ |
バッチで取得する行の最大数。 |
Record Writer |
Record Writerは、 DML イベントをシリアライズするために使用されます。 |
テーブル・ステート・ストア |
複製されたテーブルの状態を保持する共有ストア。 |
状態管理¶
スコープ |
説明 |
---|---|
CLUSTER |
各テーブルの最後に処理された記録のバージョンなどの情報は、このプロセッサーによって保存されます。 |
リレーションシップ¶
名前 |
説明 |
---|---|
success |
CDC ストリームイベントから FlowFile の作成に成功。 |