CaptureChangeSqlServer 2025.5.31.15

バンドル

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

説明

SQL Server データベースから CDC イベントを読み込みます。プロセッサーは定期的にデータベース内のChange Trackingテーブルで、 TableStateService に発行されたテーブルに対してのみクエリを発行します。プロセッサーは、各テーブルの最後に処理されたイベントの状態を保持します。プロセッサーは、各テーブルを処理した後に位置を移動します。プロセッサーはマルチスレッドに対応しています。プールで構成されたスレッド数と接続制限は、ソースデータベースへのオープン接続の上限を定義します。プロセッサーは2種類のフロータイプを出力します。: DDLs はテーブルの最初のスキーマを含み、その後もスキーマが変わるたびに、 DMLs はテーブルで変更されたデータの記録を表示します。1つの FlowFile は常に1つのテーブルに関連するデータを表します。スキーマを含む DDL は JSON オブジェクトとして FlowFile のコンテンツに以下のように書き込まれます。:{ "columns": [ { "name": "<columnName>", "type": "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }, ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...]}The DML records are structured as:{ "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }}

タグ

cdc, イベント, jdbc, sql, sql server

入力要件

FORBIDDEN

機密動的プロパティをサポート

false

プロパティ

プロパティ

説明

列フィルターストア

テーブルごとの列フィルター設定を保存するサービス。

接続プール

接続プール

フェッチサイズ

一度にメモリにロードされる行の最大数

最大バッチサイズ

バッチで取得する行の最大数。

Record Writer

Record Writerは、 DML イベントをシリアライズするために使用されます。

テーブル・ステート・ストア

複製されたテーブルの状態を保持する共有ストア。

状態管理

スコープ

説明

CLUSTER

各テーブルの最後に処理された記録のバージョンなどの情報は、このプロセッサーによって保存されます。

リレーションシップ

名前

説明

success

CDC ストリームイベントから FlowFile の作成に成功。