CaptureChangeMySQL 2025.5.31.15¶
Bundle¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
Beschreibung¶
Liest CDC-Ereignisse aus einer MySQL-Datenbank. Der Prozessor liest fortlaufend Ereignisse aus binären Protokolldateien, wobei er diejenigen filtert, die sich auf die von TableStateService bereitgestellten Tabellen beziehen, und den Rest verwirft. Der Prozessor gibt zwei Arten von FlowFiles aus:- DDLs mit dem Schema einer Tabelle (das ursprüngliche Schema und ein neues Schema bei jeder Schemaänderung).- DMLs mit Datensätzen, die Änderungen an den Daten in der Tabelle darstellen. Ein FlowFile repräsentiert immer Daten, die sich auf eine einzige Tabelle beziehen. Die DDL mit dem Schema wird als JSON-Objekt in den FlowFile-Inhalt geschrieben:{ „columns“: [ { „name“: „<columnName>“, „type“: „<snowflakeType>“, „nullable“: <true|false>, „scale“: <scale>, „precision“: <precision> }, … ], „primaryKeys“: [„<primaryKey1>“, „<primaryKey2>“, …]}Struktur der FlowFiles, die die DML-Datensätze enthalten:{ „primaryKeys“: { „<column>“: <value>, … }, „payload“: { „<column>“: <value>, … }, „metadata“: { „<column>“: <value>, … }}
Eingabeanforderung¶
FORBIDDEN
Unterstützt sensible dynamische Eigenschaften¶
false
Eigenschaften¶
Eigenschaft |
Beschreibung |
|---|---|
Column Filter Store |
Dienst, der die Filtereinstellungen für die einzelnen Tabellenspalten speichert. |
Connection Timeout |
Timeout bei der Verbindung zur Quelldatenbank |
JDBC Driver Location |
Durch Kommas getrennte Liste von Dateien/Ordnern und/oder URLs, die den JAR-Treiber und seine Abhängigkeiten (falls vorhanden) enthalten. Zum Beispiel „/var/tmp/mariadb-java-client-3.4.1.jar“ |
JDBC URL |
JDBC URL der Datenbankverbindung, also jdbc:mariadb://localhost:3306/mysql |
Max Batch Size |
Die maximale Anzahl von Datensätzen, die in einer einzigen Iteration verarbeitet werden. Die Anzahl der Datensätze kann die maximale Batchgröße überschreiten, wenn das letzte Binlog-Ereignis mehr als eine Zeile enthält. |
Max Batch Wait Time |
Die maximale Wartezeit, bis Daten im Binlog erscheinen. |
Max Queue Size |
Die maximale Anzahl von Elementen, die aus dem Binlog gelesen werden, bis der Reader-Thread auf „onTrigger“ wartet. |
Password |
Kennwort für den Zugriff auf die MySQL-Datenbank |
Record Writer |
Der Record Writer wird für die Serialisierung von DML-Ereignissen verwendet. |
SSL Context Service |
SSL Context Service zur Unterstützung verschlüsselter Socket-Kommunikation |
SSL Mode |
SSL-Modus, der verwendet wird, wenn SSL Context Service so konfiguriert ist, dass Optionen zur Zertifikatsüberprüfung unterstützt werden |
Server ID |
Server-ID (im Bereich von 1 bis 2^32 - 1). Dieser Wert muss in der gesamten Replikationsgruppe eindeutig sein (d. h. er muss sich von allen anderen Server-IDs unterscheiden, die von einem Master oder Slave verwendet werden). Beachten Sie, dass jeder Binärprotokoll-Client als vereinfachter Slave behandelt werden sollte und daher auch eine andere Server-ID verwenden muss. |
Server ID Strategy |
Legt fest, wie die Server-ID ausgewählt wird |
Table State Store |
Der gemeinsam genutzte Speicher, in dem der Status replizierter Tabellen gespeichert ist. |
Username |
Benutzername für den Zugriff auf die MySQL-Datenbank |
Statusmanagement¶
Bereiche |
Beschreibung |
|---|---|
CLUSTER |
Informationen wie z. B. ein „Zeiger“ auf das aktuelle CDC-Ereignis in der Datenbank werden von diesem Prozessor gespeichert, sodass er bei einem Neustart an derselben Stelle fortfahren kann. |
Beziehungen¶
Name |
Beschreibung |
|---|---|
success |
Erfolgreich erstelltes FlowFile aus CDC-Stream-Ereignissen |
Schreibt Attribute¶
Name |
Beschreibung |
|---|---|
source.schema.name |
Name des Schemas der Tabelle, aus der ein Ereignis stammt |
source.table.name |
Name der Tabelle, aus der ein Ereignis stammt |
cdc.event.type |
Typ des Ereignisses, das vom FlowFile übertragen wird: ddl oder dml |
cdc.most.significant.position |
Die höchstwertige Position von DDL im CDC-Stream |
cdc.least.significant.position |
Die niedrigstwertige Position von DDL im CDC-Stream |
cdc.event.seen.at |
Zeitstempel des Zeitpunkts, an dem das DDL-Ereignis vom Prozessor gelesen wurde |