CaptureChangeMySQL 2025.10.2.19¶
バンドル¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
説明¶
Reads CDC events from a MySQL database. The processor continuously reads events from binary log files, filtering those related to the tables provided by the TableStateService, and discarding the rest. The processor outputs two types of FlowFiles: - DDLs containing the schema of a table (the initial schema and a new schema on every schema change). - DMLs with records representing changes to the data in the table. One FlowFile always represents data related to a single table. The DDL with the schema is written to the FlowFile content as a JSON object: { "columns": [ { "name": "<columnName>", "type": "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }, ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...] } Structure of the FlowFiles containing the DML records: { "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }
入力要件¶
FORBIDDEN
機密動的プロパティをサポート¶
false
プロパティ¶
プロパティ |
説明 |
|---|---|
列フィルターストア |
テーブルごとの列フィルター設定を保存するサービス。 |
接続タイムアウト |
ソースデータベースへの接続タイムアウト |
JDBC ドライバー 所在地 |
JAR ドライバーとその依存関係 (もしあれば) を含むファイル/フォルダおよび/または URLs のカンマ区切りリスト。たとえば、'/var/tmp/mariadb-java-client-3.4.1.jar' です。 |
JDBC URL |
JDBC URL jdbc:mariadb://localhost:3306/mysqlのようなデータベース接続。 |
最大バッチサイズ |
1回の反復で処理する最大記録数。最後のbinlogイベントに複数の行が含まれている場合、記録数が最大バッチサイズを超えることがあります。 |
最大バッチ待ち時間 |
binlogにデータが表示されるまでの最大待機時間。 |
最大列サイズ |
リーダースレッドがonTriggerを待つまでにbinlogから読み込まれる要素の最大数 |
パスワード |
MySQL データベースへのアクセスパスワード |
Record Writer |
Record Writerは、 DML イベントをシリアライズするために使用されます。 |
SSL コンテキストサービス |
SSL 暗号化ソケット通信をサポートするコンテキストサービス |
SSL モード |
SSL 証明書検証オプションをサポートする SSL コンテキストサービスが構成されている場合に使用されるモード。 |
サーバー ID |
サーバー ID (1 から 2^32 - 1 の範囲)。この値 MUST は複製グループ全体で一意である必要があります(つまり、マスタまたはスレーブで使用されている他のサーバー ID とは異なる)。各バイナリ ログ クライアントは、簡略化されたスレーブとして扱われるべきであり、したがって、 MUST で、異なるサーバー ID を使用することに留意してください。 |
サーバー ID ストラテジー |
サーバー ID の選択方法を決定します。 |
テーブル・ステート・ストア |
複製されたテーブルの状態を保持する共有ストア。 |
ユーザー名 |
MySQL データベースにアクセスするためのユーザー名 |
状態管理¶
スコープ |
説明 |
|---|---|
CLUSTER |
データベース内の現在の CDC イベントへの「ポインタ」などの情報は、このプロセッサーによって保存され、再起動しても同じ場所から続行できるようになります。 |
リレーションシップ¶
名前 |
説明 |
|---|---|
success |
CDC ストリームイベントから FlowFile の作成に成功。 |
属性の書き込み¶
名前 |
説明 |
|---|---|
source.schema.name |
イベントの発生元テーブルのスキーマ名 |
source.table.name |
イベントの発生元テーブル名 |
cdc.event.type |
Type of event carried by the FlowFile: ddl or dml |
cdc.most.significant.position |
CDCストリームにおけるDdLの最も重要なポジション |
cdc.least.significant.position |
CDCストリームにおけるDdLの最下位ポジション |
cdc.event.seen.at |
ddlイベントがプロセッサに読み込まれた時点からのタイムスタンプ。 |