CaptureChangeMySQL 2025.10.2.19¶
Pacote¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
Descrição¶
Reads CDC events from a MySQL database. The processor continuously reads events from binary log files, filtering those related to the tables provided by the TableStateService, and discarding the rest. The processor outputs two types of FlowFiles: - DDLs containing the schema of a table (the initial schema and a new schema on every schema change). - DMLs with records representing changes to the data in the table. One FlowFile always represents data related to a single table. The DDL with the schema is written to the FlowFile content as a JSON object: { «columns»: [ { «name»: «<columnName>», «type»: «<snowflakeType>», «nullable»: <true|false>, «scale»: <scale>, «precision»: <precision> }, … ], «primaryKeys»: [«<primaryKey1>», «<primaryKey2>», …] } Structure of the FlowFiles containing the DML records: { «primaryKeys»: { «<column>»: <value>, … }, «payload»: { «<column>»: <value>, … }, «metadata»: { «<column>»: <value>, … }
Requisito de entrada¶
FORBIDDEN
Oferece suporte a propriedades dinâmicas confidenciais¶
falso
Propriedades¶
Propriedade |
Descrição |
|---|---|
Armazenamento de filtro de colunas |
Serviço que armazena configurações de filtragem de colunas por tabela. |
Tempo limite de conexão |
Tempo limite de conexão com o banco de dados de origem |
Local do driver JDBC |
Lista separada por vírgulas de arquivos/pastas e/ou URLs contendo o driver JAR e suas dependências (se houver). Por exemplo, “/var/tmp/mariadb-java-client-3.4.1.jar” |
JDBC URL |
URL do JDBC da conexão com o banco de dados, ou seja, jdbc:mariadb://localhost:3306/mysql |
Tamanho máximo do lote |
O número máximo de registros a serem processados em uma única iteração. O número de registros pode exceder o tamanho máximo do lote quando o último evento do log binário contém mais de uma linha. |
Tempo máximo de espera do lote |
O tempo máximo de espera para que os dados apareçam no log binário. |
Tamanho máximo da fila |
O número máximo de elementos lidos do log binário até que o thread do leitor aguarde pelo onTrigger |
Senha |
Senha para acessar o banco de dados MySQL |
Record Writer |
O Record Writer é usado para serializar eventos DML |
Serviço de contexto SSL |
O serviço de contexto SSL que oferece suporte à comunicação por soquete criptografado |
Modo SSL |
Modo SSL usado quando o serviço de contexto SSL está configurado para oferecer suporte a opções de verificação de certificado |
ID do servidor |
ID do servidor (no intervalo de 1 a 2^32 - 1). Esse valor deve ser exclusivo em todo o grupo de replicação (ou seja, diferente de qualquer outro ID de servidor que esteja sendo usado por qualquer mestre ou servo). Lembre-se de que cada cliente de log binário deve ser tratado como um servo simplificado e, portanto, deve também usa um ID de servidor diferente. |
Estratégia de ID de servidor |
Determina como o ID de servidor é selecionado |
Armazenamento de estado de tabela |
O armazenamento compartilhado que mantém o estado das tabelas replicadas. |
Nome de usuário |
Nome de usuário para acessar o banco de dados MySQL |
Gerenciamento do estado¶
Escopos |
Descrição |
|---|---|
CLUSTER |
Informações como um “ponteiro” para o evento CDC atual no banco de dados são armazenadas por esse processador, de modo que ele possa continuar do mesmo local se for reiniciado. |
Relações¶
Nome |
Descrição |
|---|---|
success |
FlowFile criado com sucesso a partir de eventos de fluxo da CDC |
Grava atributos¶
Nome |
Descrição |
|---|---|
source.schema.name |
Nome do esquema de tabela da qual um evento se originou |
source.table.name |
Nome da tabela da qual um evento se originou |
cdc.event.type |
Type of event carried by the FlowFile: ddl or dml |
cdc.most.significant.position |
A posição mais significativa do ddl no fluxo da CDC |
cdc.least.significant.position |
A posição menos significativa do ddl no fluxo da CDC |
cdc.event.seen.at |
Carimbo de data/hora do momento em que o evento ddl foi lido pelo processador |