CaptureChangeSqlServer 2025.10.2.19¶
Pacote¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
Descrição¶
Reads CDC events from a SQL Server database. The processor periodically queries Change Tracking tables in the database, but only for the tables provided by the TableStateService. The processor maintains a state of the last processed event for each table. The processor moves the position after each processed table. The processor supports multi-threading. The number of threads and connection limit configured in the pool collectively define the upper bound of open connections to the source database. The processor outputs two types of FlowFiles: DDLs, containing the initial schema of a table, and then every time its schema changes, and DMLs, with records representing changes to data in the table. One FlowFile always represents data related to a single table. The DDL with the schema is written to the FlowFile content as a JSON object, in a form such as: { «columns»: [ { «name»: «<columnName>», «type»: «<snowflakeType>», «nullable»: <true|false>, «scale»: <scale>, «precision»: <precision> }, … ], «primaryKeys»: [«<primaryKey1>», «<primaryKey2>», …] } The DML records are structured as: { «primaryKeys»: { «<column>»: <value>, … }, «payload»: { «<column>»: <value>, … }, «metadata»: { «<column>»: <value>, … }
Requisito de entrada¶
FORBIDDEN
Oferece suporte a propriedades dinâmicas confidenciais¶
falso
Propriedades¶
Propriedade |
Descrição |
|---|---|
Armazenamento de filtro de colunas |
Serviço que armazena configurações de filtragem de colunas por tabela. |
Pool de conexões |
O pool de conexões |
Tamanho da busca |
O número máximo de linhas carregadas na memória de uma só vez |
Tamanho máximo do lote |
O número máximo de linhas a serem buscadas em um único lote |
Record Writer |
O Record Writer é usado para serializar eventos DML |
Intervalo de consultas de alterações em tabelas |
O intervalo mínimo que deve transcorrer antes de agendar a próxima consulta de alterações em tabelas. Isto controla a frequência da sondagem do banco de dados para evitar consultas excessivas. |
Armazenamento de estado de tabela |
O armazenamento compartilhado que mantém o estado das tabelas replicadas. |
Gerenciamento do estado¶
Escopos |
Descrição |
|---|---|
CLUSTER |
Informações como uma versão do último registro processado para cada tabela são armazenadas por esse processador, de modo que ele possa continuar do mesmo local se for reiniciado. |
Relações¶
Nome |
Descrição |
|---|---|
success |
FlowFile criado com sucesso a partir de eventos de fluxo da CDC |