CaptureChangeMySQL 2025.5.31.15

バンドル

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

説明

MySQL データベースから CDC イベントを読み込みます。プロセッサーはバイナリログファイルからイベントを継続的に読み込み、 TableStateService によって提供されたテーブルに関連するものをフィルターにかけ、残りを破棄します。プロセッサーは2タイプのフローファイルを出力します:- テーブルのスキーマ(初期スキーマと、スキーマ変更のたびに新しいスキーマ)を含む DDLs .-テーブルのデータの変更を示す記録を含む DMLs 。1つのフローファイルは、常に1つのテーブルに関連するデータを表します。スキーマを含む DDL は、 JSON オブジェクトとして、 FlowFile コンテンツに書き込まれます:{ "columns": [ { "name": "<columnName>", "type": "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }, ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...]} DML 記録を含む FlowFiles の構成:{ "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }}

タグ

cdc, event, jdbc, mysql, sql

入力要件

FORBIDDEN

機密動的プロパティをサポート

false

プロパティ

プロパティ

説明

列フィルターストア

テーブルごとの列フィルター設定を保存するサービス。

接続タイムアウト

ソースデータベースへの接続タイムアウト

JDBC ドライバー 所在地

JAR ドライバーとその依存関係 (もしあれば) を含むファイル/フォルダおよび/または URLs のカンマ区切りリスト。たとえば、'/var/tmp/mariadb-java-client-3.4.1.jar' です。

JDBC URL

JDBC URL jdbc:mariadb://localhost:3306/mysqlのようなデータベース接続。

最大バッチサイズ

1回の反復で処理する最大記録数。最後のbinlogイベントに複数の行が含まれている場合、記録数が最大バッチサイズを超えることがあります。

最大バッチ待ち時間

binlogにデータが表示されるまでの最大待機時間。

最大列サイズ

リーダースレッドがonTriggerを待つまでにbinlogから読み込まれる要素の最大数

パスワード

MySQL データベースへのアクセスパスワード

Record Writer

Record Writerは、 DML イベントをシリアライズするために使用されます。

SSL コンテキストサービス

SSL 暗号化ソケット通信をサポートするコンテキストサービス

SSL モード

SSL 証明書検証オプションをサポートする SSL コンテキストサービスが構成されている場合に使用されるモード。

サーバー ID

サーバー ID (1 から 2^32 - 1 の範囲)。この値 MUST は複製グループ全体で一意である必要があります(つまり、マスタまたはスレーブで使用されている他のサーバー ID とは異なる)。各バイナリ ログ クライアントは、簡略化されたスレーブとして扱われるべきであり、したがって、 MUST で、異なるサーバー ID を使用することに留意してください。

サーバー ID ストラテジー

サーバー ID の選択方法を決定します。

テーブル・ステート・ストア

複製されたテーブルの状態を保持する共有ストア。

ユーザー名

MySQL データベースにアクセスするためのユーザー名

状態管理

スコープ

説明

CLUSTER

データベース内の現在の CDC イベントへの「ポインタ」などの情報は、このプロセッサーによって保存され、再起動しても同じ場所から続行できるようになります。

リレーションシップ

名前

説明

success

CDC ストリームイベントから FlowFile の作成に成功。

属性の書き込み

名前

説明

source.schema.name

イベントの発生元テーブルのスキーマ名

source.table.name

イベントの発生元テーブル名

cdc.event.type

フローファイルが伝えるイベントのタイプ:ddlまたはdml

cdc.most.significant.position

CDCストリームにおけるDdLの最も重要なポジション

cdc.least.significant.position

CDCストリームにおけるDdLの最下位ポジション

cdc.event.seen.at

ddlイベントがプロセッサに読み込まれた時点からのタイムスタンプ。