CaptureChangePostgreSQL 2025.5.31.15¶
Pacote¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
Descrição¶
Lê eventos CDC de um banco de dados PostgreSQL. O processador lê continuamente os eventos que chegam ao fluxo, filtrando aqueles relacionados às tabelas fornecidas pelo TableStateService e descartando o restante. Depois que o lote atual de eventos é processado, o processador confirma a posição do slot de replicação de volta para PostgreSQL, permitindo que ele apare o WAL. O processador gera dois tipos de FlowFiles: DDLs contendo o esquema inicial de uma tabela e, em seguida, sempre que o esquema for alterado, e DMLs com registros que representam alterações nos dados da tabela. Um FlowFile sempre representa os dados relacionados a uma única tabela. O DDL com o esquema é gravado no conteúdo do FlowFile como um objeto JSON, em um formato como: { «columns»: [ { «name»: «<columnName>», «type»: «<snowflakeType>», «nullable»: <true|false>, «scale»: <scale>, «precision»: <precision> }, …], «primaryKeys»: [«<primaryKey1>», «<primaryKey2>», …]}. Os registros DML são estruturados como: { «primaryKeys»: { «<column>»: <value>, … }, «payload»: { «<column>»: <value>, … }, «metadata»: { «<column>»: <value>, … }}
Requisito de entrada¶
FORBIDDEN
Oferece suporte a propriedades dinâmicas confidenciais¶
falso
Propriedades¶
Propriedade |
Descrição |
|---|---|
Armazenamento de filtro de colunas |
Serviço que armazena configurações de filtragem de colunas por tabela. |
Local do driver JDBC |
Lista separada por vírgulas de arquivos/pastas e/ou URLs contendo o driver JAR e suas dependências (se houver). Por exemplo, “/var/tmp/postgresql-java-client-42.7.5.jar” |
JDBC URL |
URL do JDBC da conexão com o banco de dados, ou seja, jdbc:postgresql://localhost:5432/postgres |
Tamanho máximo do lote |
O número máximo de registros a serem processados em uma única iteração |
Tempo máximo de espera do lote |
O tempo máximo de espera para que os dados apareçam no fluxo da CDC. |
Senha |
Senha para acessar o banco de dados PostgreSQL |
Nome da publicação |
O nome da publicação CDC da qual você deve ler. |
Record Writer |
O Record Writer é usado para serializar eventos DML |
Serviço de contexto SSL |
O serviço de contexto SSL que oferece suporte à comunicação por soquete criptografado |
Modo SSL |
Se deve usar e aplicar SSL ao se conectar ao PostgreSQL |
Armazenamento de estado de tabela |
O armazenamento compartilhado que mantém o estado das tabelas replicadas. |
Nome de usuário |
Nome de usuário para acessar o banco de dados PostgreSQL |
Gerenciamento do estado¶
Escopos |
Descrição |
|---|---|
CLUSTER |
Informações como um “ponteiro” para o evento CDC atual no banco de dados são armazenadas por esse processador, de modo que ele possa continuar no mesmo local se for reiniciado, e o nome do slot de replicação criado em PostgreSQL. |
Relações¶
Nome |
Descrição |
|---|---|
success |
FlowFile criado com sucesso a partir de eventos de fluxo da CDC |
Grava atributos¶
Nome |
Descrição |
|---|---|
source.schema.name |
Nome do esquema de tabela da qual um evento se originou |
source.table.name |
Nome da tabela da qual um evento se originou |
cdc.event.type |
Tipo de evento realizado pelo FlowFile: ddl ou dml |
cdc.most.significant.position |
A posição mais significativa do ddl no fluxo da CDC |
cdc.least.significant.position |
A posição menos significativa do ddl no fluxo da CDC |
cdc.event.seen.at |
Carimbo de data/hora do momento em que o evento ddl foi lido pelo processador |