DetectDuplicate 2025.5.31.15¶

Bundle¶

org.apache.nifi | nifi-standard-nar

Beschreibung¶

Speichert einen Wert, der aus FlowFile-Attributen berechnet wird, für jedes eingehende FlowFile und stellt fest, ob der gespeicherte Wert bereits gesehen wurde. Wenn ja, wird das FlowFile an „duplicate“ weitergeleitet, mit einem Attribut namens „original.identifier“, das die „Beschreibung“ des Original-FlowFileangibt, das in der Eigenschaft <FlowFile-Beschreibung> angegeben ist. Wenn das FlowFile nicht als Duplikat erkannt wird, leitet der Prozessor das FlowFile an „non-duplicate“ weiter.

Tags¶

dedupe, dupe, duplicate, hash

Eingabeanforderung¶

REQUIRED

Unterstützt sensible dynamische Eigenschaften¶

false

Eigenschaften¶

Eigenschaft	Beschreibung
Age Off Duration	Zeitintervall bis zum Verfall zwischengespeicherter FlowFiles
Cache Entry Identifier	Ein FlowFile-Attribut oder die Ergebnisse einer Anweisung in der Attribute Expression Language, die für ein FlowFile ausgewertet werden, um den Wert zu bestimmen, der zur Identifizierung von Duplikaten verwendet wird; dieser Wert wird zwischengespeichert
Cache The Entry Identifier	Bei „true“ prüft der Prozessor auf Duplikate und speichert den Eintragsbezeichner. Bei „false“ prüft der Prozessor nur auf Duplikate und speichert den Eintragsbezeichner nicht im Cache. Ein anderer Prozessor muss dann die Identifier dem verteilten Cache hinzufügen.
Distributed Cache Service	Der Controller Service, der zum Zwischenspeichern eindeutiger Bezeichner verwendet wird, um Duplikate zu ermitteln
FlowFile-Beschreibung	Wenn ein FlowFile zum Cache hinzugefügt wird, wird dieser Wert zusammen mit ihm gespeichert, sodass, wenn ein Duplikat gefunden wird, diese Beschreibung dem Original-FlowFile zum Attribut „original.flowfile.description“ des Duplikats hinzugefügt wird.

Beziehungen¶

Name	Beschreibung
duplicate	Wenn ein FlowFile als Duplikat erkannt wurde, wird es an diese Beziehung weitergeleitet.
failure	Wenn keine Kommunikation mit dem Cache möglich ist, wird das FlowFile zurückgestellt und an diese Beziehung weitergeleitet.
non-duplicate	Wenn der „Cache Entry Identifier“ eines FlowFiles nicht im Cache gefunden wurde, wird es an diese Beziehung weitergeleitet.

Schreibt Attribute¶

Name	Beschreibung
original.flowfile.beschreibung	Allen FlowFiles, die an die Beziehung „duplicate“ weitergeleitet werden, wird ein Attribut namens „original.flowfile.description“ hinzugefügt. Der Wert dieses Attributs wird durch die Attribute der Originalkopie der Daten und durch die Eigenschaft FlowFile-Beschreibung bestimmt.