CaptureChangeMySQL 2025.10.2.19

バンドル

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

説明

Reads CDC events from a MySQL database. The processor continuously reads events from binary log files, filtering those related to the tables provided by the TableStateService, and discarding the rest. The processor outputs two types of FlowFiles: - DDLs containing the schema of a table (the initial schema and a new schema on every schema change). - DMLs with records representing changes to the data in the table. One FlowFile always represents data related to a single table. The DDL with the schema is written to the FlowFile content as a JSON object: { "columns": [ { "name": "<columnName>", "type": "<snowflakeType>", "nullable": <true|false>, "scale": <scale>, "precision": <precision> }, ... ], "primaryKeys": ["<primaryKey1>", "<primaryKey2>", ...] } Structure of the FlowFiles containing the DML records: { "primaryKeys": { "<column>": <value>, ... }, "payload": { "<column>": <value>, ... }, "metadata": { "<column>": <value>, ... }

タグ

cdc, event, jdbc, mysql, sql

入力要件

FORBIDDEN

機密動的プロパティをサポート

false

プロパティ

プロパティ

説明

列フィルターストア

テーブルごとの列フィルター設定を保存するサービス。

接続タイムアウト

ソースデータベースへの接続タイムアウト

JDBC ドライバー 所在地

JAR ドライバーとその依存関係 (もしあれば) を含むファイル/フォルダおよび/または URLs のカンマ区切りリスト。たとえば、'/var/tmp/mariadb-java-client-3.4.1.jar' です。

JDBC URL

JDBC URL jdbc:mariadb://localhost:3306/mysqlのようなデータベース接続。

最大バッチサイズ

1回の反復で処理する最大記録数。最後のbinlogイベントに複数の行が含まれている場合、記録数が最大バッチサイズを超えることがあります。

最大バッチ待ち時間

binlogにデータが表示されるまでの最大待機時間。

最大列サイズ

リーダースレッドがonTriggerを待つまでにbinlogから読み込まれる要素の最大数

パスワード

MySQL データベースへのアクセスパスワード

Record Writer

Record Writerは、 DML イベントをシリアライズするために使用されます。

SSL コンテキストサービス

SSL 暗号化ソケット通信をサポートするコンテキストサービス

SSL モード

SSL 証明書検証オプションをサポートする SSL コンテキストサービスが構成されている場合に使用されるモード。

サーバー ID

サーバー ID (1 から 2^32 - 1 の範囲)。この値 MUST は複製グループ全体で一意である必要があります(つまり、マスタまたはスレーブで使用されている他のサーバー ID とは異なる)。各バイナリ ログ クライアントは、簡略化されたスレーブとして扱われるべきであり、したがって、 MUST で、異なるサーバー ID を使用することに留意してください。

サーバー ID ストラテジー

サーバー ID の選択方法を決定します。

テーブル・ステート・ストア

複製されたテーブルの状態を保持する共有ストア。

ユーザー名

MySQL データベースにアクセスするためのユーザー名

状態管理

スコープ

説明

CLUSTER

データベース内の現在の CDC イベントへの「ポインタ」などの情報は、このプロセッサーによって保存され、再起動しても同じ場所から続行できるようになります。

リレーションシップ

名前

説明

success

CDC ストリームイベントから FlowFile の作成に成功。

属性の書き込み

名前

説明

source.schema.name

イベントの発生元テーブルのスキーマ名

source.table.name

イベントの発生元テーブル名

cdc.event.type

Type of event carried by the FlowFile: ddl or dml

cdc.most.significant.position

CDCストリームにおけるDdLの最も重要なポジション

cdc.least.significant.position

CDCストリームにおけるDdLの最下位ポジション

cdc.event.seen.at

ddlイベントがプロセッサに読み込まれた時点からのタイムスタンプ。