CaptureChangeMySQL 2025.5.31.15¶
バンドル¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
説明¶
MySQL データベースから CDC イベントを読み込みます。プロセッサーはバイナリログファイルからイベントを継続的に読み込み、 TableStateService によって提供されたテーブルに関連するものをフィルターにかけ、残りを破棄します。プロセッサーは2タイプのフローファイルを出力します:- テーブルのスキーマ(初期スキーマと、スキーマ変更のたびに新しいスキーマ)を含む DDLs .-テーブルのデータの変更を示す記録を含む DMLs 。1つのフローファイルは、常に1つのテーブルに関連するデータを表します。スキーマを含む DDL は、 JSON オブジェクトとして、 FlowFile コンテンツに書き込まれます:{ "columns": [ { "name": "<columnName>", "type": "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }, ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...]} DML 記録を含む FlowFiles の構成:{ "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }}
入力要件¶
FORBIDDEN
機密動的プロパティをサポート¶
false
プロパティ¶
プロパティ  | 
説明  | 
|---|---|
列フィルターストア  | 
テーブルごとの列フィルター設定を保存するサービス。  | 
接続タイムアウト  | 
ソースデータベースへの接続タイムアウト  | 
JDBC ドライバー 所在地  | 
JAR ドライバーとその依存関係 (もしあれば) を含むファイル/フォルダおよび/または URLs のカンマ区切りリスト。たとえば、'/var/tmp/mariadb-java-client-3.4.1.jar' です。  | 
JDBC URL  | 
JDBC URL jdbc:mariadb://localhost:3306/mysqlのようなデータベース接続。  | 
最大バッチサイズ  | 
1回の反復で処理する最大記録数。最後のbinlogイベントに複数の行が含まれている場合、記録数が最大バッチサイズを超えることがあります。  | 
最大バッチ待ち時間  | 
binlogにデータが表示されるまでの最大待機時間。  | 
最大列サイズ  | 
リーダースレッドがonTriggerを待つまでにbinlogから読み込まれる要素の最大数  | 
パスワード  | 
MySQL データベースへのアクセスパスワード  | 
Record Writer  | 
Record Writerは、 DML イベントをシリアライズするために使用されます。  | 
SSL コンテキストサービス  | 
SSL 暗号化ソケット通信をサポートするコンテキストサービス  | 
SSL モード  | 
SSL 証明書検証オプションをサポートする SSL コンテキストサービスが構成されている場合に使用されるモード。  | 
サーバー ID  | 
サーバー ID (1 から 2^32 - 1 の範囲)。この値 MUST は複製グループ全体で一意である必要があります(つまり、マスタまたはスレーブで使用されている他のサーバー ID とは異なる)。各バイナリ ログ クライアントは、簡略化されたスレーブとして扱われるべきであり、したがって、 MUST で、異なるサーバー ID を使用することに留意してください。  | 
サーバー ID ストラテジー  | 
サーバー ID の選択方法を決定します。  | 
テーブル・ステート・ストア  | 
複製されたテーブルの状態を保持する共有ストア。  | 
ユーザー名  | 
MySQL データベースにアクセスするためのユーザー名  | 
状態管理¶
スコープ  | 
説明  | 
|---|---|
CLUSTER  | 
データベース内の現在の CDC イベントへの「ポインタ」などの情報は、このプロセッサーによって保存され、再起動しても同じ場所から続行できるようになります。  | 
リレーションシップ¶
名前  | 
説明  | 
|---|---|
success  | 
CDC ストリームイベントから FlowFile の作成に成功。  | 
属性の書き込み¶
名前  | 
説明  | 
|---|---|
source.schema.name  | 
イベントの発生元テーブルのスキーマ名  | 
source.table.name  | 
イベントの発生元テーブル名  | 
cdc.event.type  | 
フローファイルが伝えるイベントのタイプ:ddlまたはdml  | 
cdc.most.significant.position  | 
CDCストリームにおけるDdLの最も重要なポジション  | 
cdc.least.significant.position  | 
CDCストリームにおけるDdLの最下位ポジション  | 
cdc.event.seen.at  | 
ddlイベントがプロセッサに読み込まれた時点からのタイムスタンプ。  |