DetectDuplicate 2025.10.2.19

バンドル

org.apache.nifi | nifi-standard-nar

説明

Caches a value, computed from FlowFile attributes, for each incoming FlowFile and determines if the cached value has already been seen. If so, routes the FlowFile to 'duplicate' with an attribute named 'original.identifier' that specifies the original FlowFile 's "description", which is specified in the <FlowFile Description> property. If the FlowFile is not determined to be a duplicate, the Processor routes the FlowFile to' non-duplicate'

タグ

デデュープ、デュープ、デュプリケート、ハッシュ

入力要件

REQUIRED

機密動的プロパティをサポート

false

プロパティ

プロパティ

説明

エイジオフ期間

エイジオフキャッシュされた FlowFiles を削除する時間間隔

キャッシュエントリ識別子

FlowFile 属性、または重複を識別するために使用される値を決定するために FlowFile に対して評価される属性式言語ステートメントの結果で、キャッシュされたこの値

キャッシュ エントリの識別子

trueにすると、プロセッサーは重複をチェックし、エントリ識別子をキャッシュします。Falseの場合、プロセッサーは重複チェックのみを行い、エントリ識別子をキャッシュしないため、別のプロセッサーが分散キャッシュに識別子を追加する必要があります。

分散キャッシュサービス

一意な識別子をキャッシュするために使用されるController Service。

FlowFile 説明

FlowFile がキャッシュに追加されると、この値も一緒に保存され、重複が見つかった場合、重複の "original.flowfile.description" 属性に元の FlowFile の説明が追加されます。

リレーションシップ

名前

説明

duplicate

FlowFile は、重複が検出された場合、このリレーションシップにルーティングされます。

failure

キャッシュと通信できない場合、 FlowFile にはペナルティが課せられ、この関係にルーティングされます。

non-duplicate

FlowFile のキャッシュ・エントリ識別子がキャッシュ内で見つからなかった場合、このリレーションにルーティングされます。

属性の書き込み

名前

説明

original.flowfile.description

複製関係にルーティングされたすべての FlowFiles には、original.flowfile.description という属性が追加されます。この属性の値は、データのオリジナルコピーの属性と、 FlowFile Descriptionプロパティによって決定されます。

こちらもご覧ください