EnrichCdcStream 2025.5.31.15¶
Bundle¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
Beschreibung¶
Reichert eingehende FlowFiles, die von CaptureChangePostgreSQL usw. kommen, mit Informationen darüber an, in welche Journaltabelle geschrieben werden soll, sowie mit relevanten Schemainformationen. Dieser Prozessor verwaltet die Schemaversionen für jede zu verarbeitende Tabelle, um sicherzustellen, dass die richtige Journaltabelle für jedes FlowFile verwendet wird.
Eingabeanforderung¶
REQUIRED
Unterstützt sensible dynamische Eigenschaften¶
false
Eigenschaften¶
Eigenschaft |
Beschreibung |
|---|---|
CDC Schema Registry |
Gibt die CDC-Schema-Registry an, die für die Verwaltung der Schemas der CDC-Daten verwendet werden soll |
Record Reader |
Gibt den Record Reader an, der zum Lesen der eingehenden Daten verwendet werden soll |
Record Writer |
Gibt den Record Writer an, der für das Schreiben der ausgehenden Daten verwendet werden soll |
Table State Service |
Enthält den Status der replizierten Tabellen |
Statusmanagement¶
Bereiche |
Beschreibung |
|---|---|
CLUSTER |
Verfolgt die aktuelle Version der Journaltabelle für jede Tabelle, die verarbeitet wird. |
Beziehungen¶
Name |
Beschreibung |
|---|---|
failure |
Wenn ein FlowFile nicht gelesen werden kann, wird es an diese Beziehung weitergeleitet. |
schema update |
Wenn eine Schemaaktualisierung erforderlich ist, um eingehende Datensätze zu verarbeiten, wird ein FlowFile an diese Beziehung weitergeleitet. Das FlowFile enthält die Schemainformationen, die angeben, welche Änderungen erforderlich sind. |
skipped ddl event |
Dieser Beziehung wird für alle Ereignisse vom Typ DDL-/Schemaänderung verwendet, die nicht zu einer Änderung des Schemas der Zieltabelle führen. |
success |
In die Snowflake-Tabelle einzufügende Zeilen werden an diese Beziehung weitergeleitet. |
table not in state |
Wird verwendet, wenn ein FlowFile auf eine Tabelle verweist, die im Status der replizierten Tabellen nicht existiert, wahrscheinlich nachdem sie aus der Replikation entfernt wurde. |
Schreibt Attribute¶
Name |
Beschreibung |
|---|---|
table.schema.generation |
Der Index der Journaltabelle für die inkrementelle Verarbeitung. |
table.schema.initial |
Kennzeichnet die initiale Erstellung einer Journaltabelle. |
destination.table.schema |
Das aktualisierte Schema für die Zieltabelle. Dieses Attribut wird nur für DDL-Ereignisse geschrieben. |