DetectDuplicate 2025.10.2.19¶

Bundle¶

org.apache.nifi | nifi-standard-nar

Beschreibung¶

Caches a value, computed from FlowFile attributes, for each incoming FlowFile and determines if the cached value has already been seen. If so, routes the FlowFile to ‚duplicate‘ with an attribute named ‚original.identifier‘ that specifies the original FlowFile ‚s „description“, which is specified in the <FlowFile Description> property. If the FlowFile is not determined to be a duplicate, the Processor routes the FlowFile to‘ non-duplicate‘

Tags¶

dedupe, dupe, duplicate, hash

Eingabeanforderung¶

REQUIRED

Unterstützt sensible dynamische Eigenschaften¶

false

Eigenschaften¶

Eigenschaft	Beschreibung
Age Off Duration	Zeitintervall bis zum Verfall zwischengespeicherter FlowFiles
Cache Entry Identifier	Ein FlowFile-Attribut oder die Ergebnisse einer Anweisung in der Attribute Expression Language, die für ein FlowFile ausgewertet werden, um den Wert zu bestimmen, der zur Identifizierung von Duplikaten verwendet wird; dieser Wert wird zwischengespeichert
Cache The Entry Identifier	Bei „true“ prüft der Prozessor auf Duplikate und speichert den Eintragsbezeichner. Bei „false“ prüft der Prozessor nur auf Duplikate und speichert den Eintragsbezeichner nicht im Cache. Ein anderer Prozessor muss dann die Identifier dem verteilten Cache hinzufügen.
Distributed Cache Service	Der Controller Service, der zum Zwischenspeichern eindeutiger Bezeichner verwendet wird, um Duplikate zu ermitteln
FlowFile-Beschreibung	Wenn ein FlowFile zum Cache hinzugefügt wird, wird dieser Wert zusammen mit ihm gespeichert, sodass, wenn ein Duplikat gefunden wird, diese Beschreibung dem Original-FlowFile zum Attribut „original.flowfile.description“ des Duplikats hinzugefügt wird.

Beziehungen¶

Name	Beschreibung
duplicate	Wenn ein FlowFile als Duplikat erkannt wurde, wird es an diese Beziehung weitergeleitet.
failure	Wenn keine Kommunikation mit dem Cache möglich ist, wird das FlowFile zurückgestellt und an diese Beziehung weitergeleitet.
non-duplicate	Wenn der „Cache Entry Identifier“ eines FlowFiles nicht im Cache gefunden wurde, wird es an diese Beziehung weitergeleitet.

Schreibt Attribute¶

Name	Beschreibung
original.flowfile.beschreibung	Allen FlowFiles, die an die Beziehung „duplicate“ weitergeleitet werden, wird ein Attribut namens „original.flowfile.description“ hinzugefügt. Der Wert dieses Attributs wird durch die Attribute der Originalkopie der Daten und durch die Eigenschaft FlowFile-Beschreibung bestimmt.