EnrichCdcStream 2025.5.31.15¶
Pacote¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
Descrição¶
Enriquece FlowFiles de entrada que vêm de CaptureChangePostgreSQL etc. com informações relativas a qual tabela de diário deve ser gravada e informações de esquema relevantes. Esse processador gerencia as versões de esquema de cada tabela que está sendo processada para garantir que a tabela de diário correta seja usada para cada FlowFile.
Requisito de entrada¶
REQUIRED
Oferece suporte a propriedades dinâmicas confidenciais¶
falso
Propriedades¶
Propriedade |
Descrição |
|---|---|
Registro de esquema CDC |
Especifica o registro de esquema da CDC a ser usado para gerenciar os esquemas de dados da CDC |
Record Reader |
Especifica o Record Reader a ser usado para ler os dados de entrada |
Record Writer |
Especifica o Record Writer a ser usado para gravar os dados de saída |
Serviço de estado da tabela |
Mantém o estado das tabelas replicadas |
Gerenciamento do estado¶
Escopos |
Descrição |
|---|---|
CLUSTER |
Rastreia a versão atual da tabela de diário para cada tabela que está sendo processada. |
Relações¶
Nome |
Descrição |
|---|---|
failure |
Se algum FlowFile não puder ser lido, ele será encaminhado para essa relação. |
schema update |
Se for necessária alguma atualização do esquema para tratar os registros recebidos, um FlowFile será encaminhado para essa relação. O FlowFile incluirá as informações do esquema para indicar quais alterações são necessárias. |
skipped ddl event |
Essa relação será usada para todos os eventos de DDL/Schema Change que não resultem em uma alteração no esquema da tabela de destino. |
success |
As linhas a serem inseridas na tabela Snowflake serão encaminhadas para essa relação. |
table not in state |
Usada quando um FlowFile faz referência a uma tabela que não existe no estado das tabelas replicadas, provavelmente depois de ter sido removida da replicação. |
Grava atributos¶
Nome |
Descrição |
|---|---|
table.schema.generation |
O índice da tabela de diário para processamento incremental. |
table.schema.initial |
Marca a geração inicial de uma tabela de diário. |
destination.table.schema |
O esquema atualizado da tabela de destino. Esse atributo é gravado somente para eventos DDL. |