CaptureChangePostgreSQL 2025.5.31.15

Pacote

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

Descrição

Lê eventos CDC de um banco de dados PostgreSQL. O processador lê continuamente os eventos que chegam ao fluxo, filtrando aqueles relacionados às tabelas fornecidas pelo TableStateService e descartando o restante. Depois que o lote atual de eventos é processado, o processador confirma a posição do slot de replicação de volta para PostgreSQL, permitindo que ele apare o WAL. O processador gera dois tipos de FlowFiles: DDLs contendo o esquema inicial de uma tabela e, em seguida, sempre que o esquema for alterado, e DMLs com registros que representam alterações nos dados da tabela. Um FlowFile sempre representa os dados relacionados a uma única tabela. O DDL com o esquema é gravado no conteúdo do FlowFile como um objeto JSON, em um formato como: { «columns»: [ { «name»: «<columnName>», «type»: «<snowflakeType>», «nullable»: <true|false>, «scale»: <scale>, «precision»: <precision> }, …], «primaryKeys»: [«<primaryKey1>», «<primaryKey2>», …]}. Os registros DML são estruturados como: { «primaryKeys»: { «<column>»: <value>, … }, «payload»: { «<column>»: <value>, … }, «metadata»: { «<column>»: <value>, … }}

Tags

cdc, event, jdbc, postgresql, sql

Requisito de entrada

FORBIDDEN

Oferece suporte a propriedades dinâmicas confidenciais

falso

Propriedades

Propriedade

Descrição

Armazenamento de filtro de colunas

Serviço que armazena configurações de filtragem de colunas por tabela.

Local do driver JDBC

Lista separada por vírgulas de arquivos/pastas e/ou URLs contendo o driver JAR e suas dependências (se houver). Por exemplo, “/var/tmp/postgresql-java-client-42.7.5.jar”

JDBC URL

URL do JDBC da conexão com o banco de dados, ou seja, jdbc:postgresql://localhost:5432/postgres

Tamanho máximo do lote

O número máximo de registros a serem processados em uma única iteração

Tempo máximo de espera do lote

O tempo máximo de espera para que os dados apareçam no fluxo da CDC.

Senha

Senha para acessar o banco de dados PostgreSQL

Nome da publicação

O nome da publicação CDC da qual você deve ler.

Record Writer

O Record Writer é usado para serializar eventos DML

Serviço de contexto SSL

O serviço de contexto SSL que oferece suporte à comunicação por soquete criptografado

Modo SSL

Se deve usar e aplicar SSL ao se conectar ao PostgreSQL

Armazenamento de estado de tabela

O armazenamento compartilhado que mantém o estado das tabelas replicadas.

Nome de usuário

Nome de usuário para acessar o banco de dados PostgreSQL

Gerenciamento do estado

Escopos

Descrição

CLUSTER

Informações como um “ponteiro” para o evento CDC atual no banco de dados são armazenadas por esse processador, de modo que ele possa continuar no mesmo local se for reiniciado, e o nome do slot de replicação criado em PostgreSQL.

Relações

Nome

Descrição

success

FlowFile criado com sucesso a partir de eventos de fluxo da CDC

Grava atributos

Nome

Descrição

source.schema.name

Nome do esquema de tabela da qual um evento se originou

source.table.name

Nome da tabela da qual um evento se originou

cdc.event.type

Tipo de evento realizado pelo FlowFile: ddl ou dml

cdc.most.significant.position

A posição mais significativa do ddl no fluxo da CDC

cdc.least.significant.position

A posição menos significativa do ddl no fluxo da CDC

cdc.event.seen.at

Carimbo de data/hora do momento em que o evento ddl foi lido pelo processador