CaptureChangeMySQL 2025.10.2.19¶
Bundle¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
Beschreibung¶
Reads CDC events from a MySQL database. The processor continuously reads events from binary log files, filtering those related to the tables provided by the TableStateService, and discarding the rest. The processor outputs two types of FlowFiles: - DDLs containing the schema of a table (the initial schema and a new schema on every schema change). - DMLs with records representing changes to the data in the table. One FlowFile always represents data related to a single table. The DDL with the schema is written to the FlowFile content as a JSON object: { „columns“: [ { „name“: „<columnName>“, „type“: „<snowflakeType>“, „nullable“: <true|false>, „scale“: <scale>, „precision“: <precision> }, … ], „primaryKeys“: [„<primaryKey1>“, „<primaryKey2>“, …] } Structure of the FlowFiles containing the DML records: { „primaryKeys“: { „<column>“: <value>, … }, „payload“: { „<column>“: <value>, … }, „metadata“: { „<column>“: <value>, … }
Eingabeanforderung¶
FORBIDDEN
Unterstützt sensible dynamische Eigenschaften¶
false
Eigenschaften¶
Eigenschaft |
Beschreibung |
|---|---|
Column Filter Store |
Dienst, der die Filtereinstellungen für die einzelnen Tabellenspalten speichert. |
Connection Timeout |
Timeout bei der Verbindung zur Quelldatenbank |
JDBC Driver Location |
Durch Kommas getrennte Liste von Dateien/Ordnern und/oder URLs, die den JAR-Treiber und seine Abhängigkeiten (falls vorhanden) enthalten. Zum Beispiel „/var/tmp/mariadb-java-client-3.4.1.jar“ |
JDBC URL |
JDBC URL der Datenbankverbindung, also jdbc:mariadb://localhost:3306/mysql |
Max Batch Size |
Die maximale Anzahl von Datensätzen, die in einer einzigen Iteration verarbeitet werden. Die Anzahl der Datensätze kann die maximale Batchgröße überschreiten, wenn das letzte Binlog-Ereignis mehr als eine Zeile enthält. |
Max Batch Wait Time |
Die maximale Wartezeit, bis Daten im Binlog erscheinen. |
Max Queue Size |
Die maximale Anzahl von Elementen, die aus dem Binlog gelesen werden, bis der Reader-Thread auf „onTrigger“ wartet. |
Password |
Kennwort für den Zugriff auf die MySQL-Datenbank |
Record Writer |
Der Record Writer wird für die Serialisierung von DML-Ereignissen verwendet. |
SSL Context Service |
SSL Context Service zur Unterstützung verschlüsselter Socket-Kommunikation |
SSL Mode |
SSL-Modus, der verwendet wird, wenn SSL Context Service so konfiguriert ist, dass Optionen zur Zertifikatsüberprüfung unterstützt werden |
Server ID |
Server-ID (im Bereich von 1 bis 2^32 - 1). Dieser Wert muss in der gesamten Replikationsgruppe eindeutig sein (d. h. er muss sich von allen anderen Server-IDs unterscheiden, die von einem Master oder Slave verwendet werden). Beachten Sie, dass jeder Binärprotokoll-Client als vereinfachter Slave behandelt werden sollte und daher auch eine andere Server-ID verwenden muss. |
Server ID Strategy |
Legt fest, wie die Server-ID ausgewählt wird |
Table State Store |
Der gemeinsam genutzte Speicher, in dem der Status replizierter Tabellen gespeichert ist. |
Username |
Benutzername für den Zugriff auf die MySQL-Datenbank |
Statusmanagement¶
Bereiche |
Beschreibung |
|---|---|
CLUSTER |
Informationen wie z. B. ein „Zeiger“ auf das aktuelle CDC-Ereignis in der Datenbank werden von diesem Prozessor gespeichert, sodass er bei einem Neustart an derselben Stelle fortfahren kann. |
Beziehungen¶
Name |
Beschreibung |
|---|---|
success |
Erfolgreich erstelltes FlowFile aus CDC-Stream-Ereignissen |
Schreibt Attribute¶
Name |
Beschreibung |
|---|---|
source.schema.name |
Name des Schemas der Tabelle, aus der ein Ereignis stammt |
source.table.name |
Name der Tabelle, aus der ein Ereignis stammt |
cdc.event.type |
Type of event carried by the FlowFile: ddl or dml |
cdc.most.significant.position |
Die höchstwertige Position von DDL im CDC-Stream |
cdc.least.significant.position |
Die niedrigstwertige Position von DDL im CDC-Stream |
cdc.event.seen.at |
Zeitstempel des Zeitpunkts, an dem das DDL-Ereignis vom Prozessor gelesen wurde |