CaptureChangeSqlServer 2025.5.31.15

Pacote

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

Descrição

Lê eventos CDC de um banco de dados do servidor SQL. O processador consulta periodicamente as tabelas de rastreamento de alterações no banco de dados, mas somente para as tabelas fornecidas pelo TableStateService. O processador mantém um estado do último evento processado para cada tabela. O processador move a posição após cada tabela processada. O processador oferece suporte a multithread. O número de threads e o limite de conexão configurados no pool definem coletivamente o limite superior de conexões abertas ao banco de dados de origem. O processador gera dois tipos de FlowFiles: DDLs que contém o esquema inicial de uma tabela e, em seguida, sempre que o esquema é alterado, e DMLs com registros que representam alterações nos dados da tabela. Um FlowFile sempre representa os dados relacionados a uma única tabela. O DDL com o esquema é gravado no conteúdo do FlowFile como um objeto JSON, em um formato como: { «columns»: [ { «name»: «<columnName>», «type»: «<snowflakeType>», «nullable»: <true|false>, «scale»: <scale>, «precision»: <precision> }, …], «primaryKeys»: [«<primaryKey1>», «<primaryKey2>», …]}. Os registros DML são estruturados como: { «primaryKeys»: { «<column>»: <value>, … }, «payload»: { «<column>»: <value>, … }, «metadata»: { «<column>»: <value>, … }}

Tags

cdc, event, jdbc, sql, sql server

Requisito de entrada

FORBIDDEN

Oferece suporte a propriedades dinâmicas confidenciais

falso

Propriedades

Propriedade

Descrição

Armazenamento de filtro de colunas

Serviço que armazena configurações de filtragem de colunas por tabela.

Pool de conexões

O pool de conexões

Tamanho da busca

O número máximo de linhas carregadas na memória de uma só vez

Tamanho máximo do lote

O número máximo de linhas a serem buscadas em um único lote

Record Writer

O Record Writer é usado para serializar eventos DML

Armazenamento de estado de tabela

O armazenamento compartilhado que mantém o estado das tabelas replicadas.

Gerenciamento do estado

Escopos

Descrição

CLUSTER

Informações como uma versão do último registro processado para cada tabela são armazenadas por esse processador, de modo que ele possa continuar do mesmo local se for reiniciado.

Relações

Nome

Descrição

success

FlowFile criado com sucesso a partir de eventos de fluxo da CDC