CaptureChangePostgreSQL 2025.10.2.19¶
Pacote¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
Descrição¶
Reads CDC events from a PostgreSQL database. The processor continuously reads events arriving in the stream, filtering for those related to tables provided by the TableStateService, and discarding the rest. After the current batch of events is processed, the processor confirms the replication slot position back to PostgreSQL, letting it trim the WAL. The processor outputs two types of FlowFiles: DDLs, containing the initial schema of a table, and then every time its schema changes, and DMLs, with records representing changes to data in the table. One FlowFile always represents data related to a single table. The DDL with the schema is written to the FlowFile content as a JSON object, in a form such as: { «columns»: [ { «name»: «<columnName>», «type»: «<snowflakeType>», «nullable»: <true|false>, «scale»: <scale>, «precision»: <precision> }, … ], «primaryKeys»: [«<primaryKey1>», «<primaryKey2>», …] } The DML records are structured as: { «primaryKeys»: { «<column>»: <value>, … }, «payload»: { «<column>»: <value>, … }, «metadata»: { «<column>»: <value>, … }
Requisito de entrada¶
FORBIDDEN
Oferece suporte a propriedades dinâmicas confidenciais¶
falso
Propriedades¶
Propriedade |
Descrição |
|---|---|
Armazenamento de filtro de colunas |
Serviço que armazena configurações de filtragem de colunas por tabela. |
Local do driver JDBC |
Lista separada por vírgulas de arquivos/pastas e/ou URLs contendo o driver JAR e suas dependências (se houver). Por exemplo, “/var/tmp/postgresql-java-client-42.7.5.jar” |
JDBC URL |
URL do JDBC da conexão com o banco de dados, ou seja, jdbc:postgresql://localhost:5432/postgres |
Tamanho máximo do lote |
O número máximo de registros a serem processados em uma única iteração |
Tempo máximo de espera do lote |
O tempo máximo de espera para que os dados apareçam no fluxo da CDC. |
Senha |
Senha para acessar o banco de dados PostgreSQL |
Nome da publicação |
O nome da publicação CDC da qual você deve ler. |
Record Writer |
O Record Writer é usado para serializar eventos DML |
Replication Slot Name |
O nome do slot de replicação a ser usado. Máximo de 63 caracteres. Se o slot não existir, o processador o criará. |
Serviço de contexto SSL |
O serviço de contexto SSL que oferece suporte à comunicação por soquete criptografado |
Modo SSL |
Se deve usar e aplicar SSL ao se conectar ao PostgreSQL |
Espaço reservado de valor de TOASTed |
O valor a ser colocado em uma coluna TOASTed |
Estratégia de valor de TOASTed |
Determina como lidar com valores de TOASTed. |
Armazenamento de estado de tabela |
O armazenamento compartilhado que mantém o estado das tabelas replicadas. |
Nome de usuário |
Nome de usuário para acessar o banco de dados PostgreSQL |
Gerenciamento do estado¶
Escopos |
Descrição |
|---|---|
CLUSTER |
Informações como um “ponteiro” para o evento CDC atual no banco de dados são armazenadas por esse processador, de modo que ele possa continuar no mesmo local se for reiniciado, e o nome do slot de replicação criado em PostgreSQL. |
Relações¶
Nome |
Descrição |
|---|---|
success |
FlowFile criado com sucesso a partir de eventos de fluxo da CDC |
Grava atributos¶
Nome |
Descrição |
|---|---|
source.schema.name |
Nome do esquema de tabela da qual um evento se originou |
source.table.name |
Nome da tabela da qual um evento se originou |
cdc.event.type |
Type of event carried by the FlowFile: ddl or dml |
cdc.most.significant.position |
A posição mais significativa do ddl no fluxo da CDC |
cdc.least.significant.position |
A posição menos significativa do ddl no fluxo da CDC |
cdc.event.seen.at |
Carimbo de data/hora do momento em que o evento ddl foi lido pelo processador |