CaptureChangeMySQL 2025.5.31.15¶
バンドル¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
説明¶
MySQL データベースから CDC イベントを読み込みます。プロセッサーはバイナリログファイルからイベントを継続的に読み込み、 TableStateService によって提供されたテーブルに関連するものをフィルターにかけ、残りを破棄します。プロセッサーは2タイプのフローファイルを出力します:- テーブルのスキーマ(初期スキーマと、スキーマ変更のたびに新しいスキーマ)を含む DDLs .-テーブルのデータの変更を示す記録を含む DMLs 。1つのフローファイルは、常に1つのテーブルに関連するデータを表します。スキーマを含む DDL は、 JSON オブジェクトとして、 FlowFile コンテンツに書き込まれます:{ "columns": [ { "name": "<columnName>", "type": "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }, ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...]} DML 記録を含む FlowFiles の構成:{ "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }}
入力要件¶
FORBIDDEN
機密動的プロパティをサポート¶
false
プロパティ¶
プロパティ |
説明 |
---|---|
列フィルターストア |
テーブルごとの列フィルター設定を保存するサービス。 |
接続タイムアウト |
ソースデータベースへの接続タイムアウト |
JDBC ドライバー 所在地 |
JAR ドライバーとその依存関係 (もしあれば) を含むファイル/フォルダおよび/または URLs のカンマ区切りリスト。たとえば、'/var/tmp/mariadb-java-client-3.4.1.jar' です。 |
JDBC URL |
JDBC URL jdbc:mariadb://localhost:3306/mysqlのようなデータベース接続。 |
最大バッチサイズ |
1回の反復で処理する最大記録数。最後のbinlogイベントに複数の行が含まれている場合、記録数が最大バッチサイズを超えることがあります。 |
最大バッチ待ち時間 |
binlogにデータが表示されるまでの最大待機時間。 |
最大列サイズ |
リーダースレッドがonTriggerを待つまでにbinlogから読み込まれる要素の最大数 |
パスワード |
MySQL データベースへのアクセスパスワード |
Record Writer |
Record Writerは、 DML イベントをシリアライズするために使用されます。 |
SSL コンテキストサービス |
SSL 暗号化ソケット通信をサポートするコンテキストサービス |
SSL モード |
SSL 証明書検証オプションをサポートする SSL コンテキストサービスが構成されている場合に使用されるモード。 |
サーバー ID |
サーバー ID (1 から 2^32 - 1 の範囲)。この値 MUST は複製グループ全体で一意である必要があります(つまり、マスタまたはスレーブで使用されている他のサーバー ID とは異なる)。各バイナリ ログ クライアントは、簡略化されたスレーブとして扱われるべきであり、したがって、 MUST で、異なるサーバー ID を使用することに留意してください。 |
サーバー ID ストラテジー |
サーバー ID の選択方法を決定します。 |
テーブル・ステート・ストア |
複製されたテーブルの状態を保持する共有ストア。 |
ユーザー名 |
MySQL データベースにアクセスするためのユーザー名 |
状態管理¶
スコープ |
説明 |
---|---|
CLUSTER |
データベース内の現在の CDC イベントへの「ポインタ」などの情報は、このプロセッサーによって保存され、再起動しても同じ場所から続行できるようになります。 |
リレーションシップ¶
名前 |
説明 |
---|---|
success |
CDC ストリームイベントから FlowFile の作成に成功。 |
属性の書き込み¶
名前 |
説明 |
---|---|
source.schema.name |
イベントの発生元テーブルのスキーマ名 |
source.table.name |
イベントの発生元テーブル名 |
cdc.event.type |
フローファイルが伝えるイベントのタイプ:ddlまたはdml |
cdc.most.significant.position |
CDCストリームにおけるDdLの最も重要なポジション |
cdc.least.significant.position |
CDCストリームにおけるDdLの最下位ポジション |
cdc.event.seen.at |
ddlイベントがプロセッサに読み込まれた時点からのタイムスタンプ。 |