EnrichCdcStream 2025.10.2.19¶
Pacote¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
Descrição¶
Enriches incoming FlowFiles that come from CaptureChangePostgreSQL, etc. with information pertaining to which Journal Table to write to and relevant schema information. This Processor manages the schema versions for each table being processed in order to ensure that the correct Journal Table is used for each FlowFile.
Requisito de entrada¶
REQUIRED
Oferece suporte a propriedades dinâmicas confidenciais¶
falso
Propriedades¶
Propriedade |
Descrição |
|---|---|
Registro de esquema CDC |
Especifica o registro de esquema da CDC a ser usado para gerenciar os esquemas de dados da CDC |
Record Reader |
Especifica o Record Reader a ser usado para ler os dados de entrada |
Record Writer |
Especifica o Record Writer a ser usado para gravar os dados de saída |
Serviço de estado da tabela |
Mantém o estado das tabelas replicadas |
Gerenciamento do estado¶
Escopos |
Descrição |
|---|---|
CLUSTER |
Rastreia a versão atual da tabela de diário para cada tabela que está sendo processada. |
Relações¶
Nome |
Descrição |
|---|---|
failure |
Se algum FlowFile não puder ser lido, ele será encaminhado para essa relação. |
schema update |
Se for necessária alguma atualização do esquema para tratar os registros recebidos, um FlowFile será encaminhado para essa relação. O FlowFile incluirá as informações do esquema para indicar quais alterações são necessárias. |
skipped ddl event |
Essa relação será usada para todos os eventos de DDL/Schema Change que não resultem em uma alteração no esquema da tabela de destino. |
success |
As linhas a serem inseridas na tabela Snowflake serão encaminhadas para essa relação. |
table not in state |
Usada quando um FlowFile faz referência a uma tabela que não existe no estado das tabelas replicadas, provavelmente depois de ter sido removida da replicação. |
Grava atributos¶
Nome |
Descrição |
|---|---|
table.schema.generation |
O índice da tabela de diário para processamento incremental. |
table.schema.initial |
Marca a geração inicial de uma tabela de diário. |
destination.table.schema |
O esquema atualizado da tabela de destino. Esse atributo é gravado somente para eventos DDL. |