CaptureChangeMySQL 2025.10.2.19¶

Bundle¶

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

Description¶

Reads CDC events from a MySQL database. The processor continuously reads events from binary log files, filtering those related to the tables provided by the TableStateService, and discarding the rest. The processor outputs two types of FlowFiles: - DDLs containing the schema of a table (the initial schema and a new schema on every schema change). - DMLs with records representing changes to the data in the table. One FlowFile always represents data related to a single table. The DDL with the schema is written to the FlowFile content as a JSON object: { « columns »: [ { « name »: « <columnName> », « type »: « <snowflakeType> », « nullable »: <true|false>, « scale »: <scale>, « precision »: <precision> }, … ], « primaryKeys »: [« <primaryKey1> », « <primaryKey2> », …] } Structure of the FlowFiles containing the DML records: { « primaryKeys »: { « <column> »: <value>, … }, « payload »: { « <column> »: <value>, … }, « metadata »: { « <column> »: <value>, … }

Balises¶

cdc, event, jdbc, mysql, sql

Exigences en matière d’entrées¶

FORBIDDEN

Prend en charge les propriétés dynamiques sensibles¶

false

Propriétés¶

Propriété	Description
Column Filter Store	Service de stockage des paramètres de filtrage des colonnes par table.
Connection Timeout	Délai d’expiration de la connexion à la base de données source
JDBC Driver Location	Liste séparée par des virgules des fichiers, des dossiers et/ou des URL contenant le pilote JAR et ses dépendances (le cas échéant). Par exemple, « /var/tmp/mariadb-java-client-3.4.1.jar »
JDBC URL	URL JDBC de la connexion à la base de données, c’est-à-dire jdbc:mariadb://localhost:3306/mysql
Max Batch Size	Nombre maximal d’enregistrements à traiter en une seule itération. Le nombre d’enregistrements peut dépasser la taille de lot maximale lorsque le dernier événement du binlog contient plus d’une ligne.
Max Batch Wait Time	Temps d’attente maximum pour que les données apparaissent dans le binlog.
Max Queue Size	Nombre maximal d’éléments lus dans le journal avant que le thread de lecture n’attende l’appel à onTrigger
Mot de passe	Mot de passe pour accéder à la base de données MySQL
Record Writer	Le Record Writer est utilisé pour sérialiser les événements DML
Service contextuel SSL	Service de contexte SSL prenant en charge la communication par socket chiffrée
Mode SSL	Mode SSL utilisé lorsque le service de contexte SSL est configuré pour prendre en charge les options de vérification des certificats
Server ID	ID du serveur (compris entre 1 et 2^32 - 1). Cette valeur doit être unique à l’échelle du groupe de réplication (c’est-à-dire qu’elle doit être différente de celle de tout autre ID de serveur utilisé par un maître ou un esclave). N’oubliez pas que chaque client de journal binaire doit être traité comme un esclave simplifié et, par conséquent, doit aussi utiliser un autre ID de serveur.
Server ID Strategy	Détermine le mode de sélection de l’ID de serveur
Table State Store	Le magasin partagé contenant l’état des tables répliquées.
NomUtilisateur	Nom d’utilisateur pour accéder à la base de données MySQL

Gestion de l’État¶

Champs d’application	Description
CLUSTER	Des informations telles qu’un « pointeur » vers l’événement CDC en cours dans la base de données sont stockées par ce processeur, de sorte qu’il puisse reprendre au même emplacement en cas de redémarrage.

Relations¶

Nom	Description
success	Création réussie du FlowFile à partir des événements du flux CDC

Écrit les attributs¶

Nom	Description
source.schema.name	Nom du schéma de la table d’où provient un événement
source.table.name	Nom de la table d’où provient un événement
cdc.event.type	Type of event carried by the FlowFile: ddl or dml
cdc.most.significant.position	La position la plus importante du DDL dans le flux CDC
cdc.least.significant.position	La position la moins importante du DDL dans le flux CDC
cdc.event.seen.at	Horodatage du moment où l’événement DDL a été lu par le processeur