EnrichCdcStream 2025.5.31.15¶
Bundle¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
Description¶
Enrichit les FlowFiles entrants provenant de CaptureChangePostgreSQL, etc. avec des informations relatives à la table de journal dans laquelle écrire et des informations de schéma pertinentes. Ce processeur gère les versions des schémas pour chaque table traitée afin de garantir que la table du journal correcte est utilisée pour chaque FlowFile.
Exigences en matière d’entrées¶
REQUIRED
Prend en charge les propriétés dynamiques sensibles¶
false
Propriétés¶
Propriété |
Description |
|---|---|
Registre des schémas CDC |
Spécifie le registre de schémas CDC à utiliser pour la gestion des schémas des données CDC |
Record Reader |
Spécifie le Record Reader à utiliser pour lire les données entrantes |
Record Writer |
Spécifie le Record Writer à utiliser pour l’écriture des données sortantes |
Service d’état de table |
Détient l’état des tables répliquées |
Gestion de l’État¶
Champs d’application |
Description |
|---|---|
CLUSTER |
Indique la version actuelle de la table du journal pour chaque table en cours de traitement. |
Relations¶
Nom |
Description |
|---|---|
failure |
Si un FlowFile ne peut être lu, il sera routé vers cette relation. |
mise à jour du schéma |
Si une mise à jour du schéma est exigée pour traiter les enregistrements entrants, un FlowFile est routé vers cette relation. Le FlowFile contiendra des informations sur le schéma pour indiquer les modifications à apporter. |
événement ddl ignoré |
Cette relation sera utilisée pour tous les événements DDL / de modification de schéma qui n’entraînent pas de modification du schéma de la table de destination. |
success |
Les lignes à insérer dans la table Snowflake seront routées vers cette relation. |
la table n’est pas dans l’état |
Utilisé lorsqu’un FlowFile fait référence à une table qui n’existe pas dans l’état des tables répliquées, probablement après avoir été supprimée de la réplication. |
Écrit les attributs¶
Nom |
Description |
|---|---|
table.schema.generation |
L’index de la table du journal pour le traitement incrémental. |
table.schema.initial |
Marque la génération initiale d’une table de journal. |
destination.table.schema |
Le schéma mis à jour pour la table de destination. Cet attribut n’est écrit que pour les événements DDL. |