CaptureChangeSqlServer 2025.5.31.15¶
Pacote¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
Descrição¶
Lê eventos CDC de um banco de dados do servidor SQL. O processador consulta periodicamente as tabelas de rastreamento de alterações no banco de dados, mas somente para as tabelas fornecidas pelo TableStateService. O processador mantém um estado do último evento processado para cada tabela. O processador move a posição após cada tabela processada. O processador oferece suporte a multithread. O número de threads e o limite de conexão configurados no pool definem coletivamente o limite superior de conexões abertas ao banco de dados de origem. O processador gera dois tipos de FlowFiles: DDLs que contém o esquema inicial de uma tabela e, em seguida, sempre que o esquema é alterado, e DMLs com registros que representam alterações nos dados da tabela. Um FlowFile sempre representa os dados relacionados a uma única tabela. O DDL com o esquema é gravado no conteúdo do FlowFile como um objeto JSON, em um formato como: { «columns»: [ { «name»: «<columnName>», «type»: «<snowflakeType>», «nullable»: <true|false>, «scale»: <scale>, «precision»: <precision> }, …], «primaryKeys»: [«<primaryKey1>», «<primaryKey2>», …]}. Os registros DML são estruturados como: { «primaryKeys»: { «<column>»: <value>, … }, «payload»: { «<column>»: <value>, … }, «metadata»: { «<column>»: <value>, … }}
Requisito de entrada¶
FORBIDDEN
Oferece suporte a propriedades dinâmicas confidenciais¶
falso
Propriedades¶
Propriedade |
Descrição |
---|---|
Armazenamento de filtro de colunas |
Serviço que armazena configurações de filtragem de colunas por tabela. |
Pool de conexões |
O pool de conexões |
Tamanho da busca |
O número máximo de linhas carregadas na memória de uma só vez |
Tamanho máximo do lote |
O número máximo de linhas a serem buscadas em um único lote |
Record Writer |
O Record Writer é usado para serializar eventos DML |
Armazenamento de estado de tabela |
O armazenamento compartilhado que mantém o estado das tabelas replicadas. |
Gerenciamento do estado¶
Escopos |
Descrição |
---|---|
CLUSTER |
Informações como uma versão do último registro processado para cada tabela são armazenadas por esse processador, de modo que ele possa continuar do mesmo local se for reiniciado. |
Relações¶
Nome |
Descrição |
---|---|
success |
FlowFile criado com sucesso a partir de eventos de fluxo da CDC |