DetectDuplicate 2025.10.2.19

バンドル

org.apache.nifi | nifi-standard-nar

説明

受信 FlowFile ごとに、 FlowFile 属性から計算された値をキャッシュし、キャッシュされた値がすでに見られているかどうかを判断します。すでに見られている場合、 <FlowFile Description> プロパティで指定された元の FlowFile の「説明」を指定する「original.identifier」という属性を使用して、 FlowFile を「duplicate」にルーティングします。FlowFile が重複であると判断されなかった場合、プロセッサーは FlowFile を「non-duplicate」にルーティングします

タグ

デデュープ、デュープ、デュプリケート、ハッシュ

入力要件

REQUIRED

機密動的プロパティをサポート

false

プロパティ

プロパティ

説明

エイジオフ期間

エイジオフキャッシュされた FlowFiles を削除する時間間隔

キャッシュエントリ識別子

FlowFile 属性、または重複を識別するために使用される値を決定するために FlowFile に対して評価される属性式言語ステートメントの結果で、キャッシュされたこの値

キャッシュ エントリの識別子

trueにすると、プロセッサーは重複をチェックし、エントリ識別子をキャッシュします。Falseの場合、プロセッサーは重複チェックのみを行い、エントリ識別子をキャッシュしないため、別のプロセッサーが分散キャッシュに識別子を追加する必要があります。

分散キャッシュサービス

一意な識別子をキャッシュするために使用されるController Service。

FlowFile 説明

FlowFile がキャッシュに追加されると、この値も一緒に保存され、重複が見つかった場合、重複の "original.flowfile.description" 属性に元の FlowFile の説明が追加されます。

リレーションシップ

名前

説明

duplicate

FlowFile は、重複が検出された場合、このリレーションシップにルーティングされます。

failure

キャッシュと通信できない場合、 FlowFile にはペナルティが課せられ、この関係にルーティングされます。

non-duplicate

FlowFile のキャッシュ・エントリ識別子がキャッシュ内で見つからなかった場合、このリレーションにルーティングされます。

属性の書き込み

名前

説明

original.flowfile.description

複製関係にルーティングされたすべての FlowFiles には、original.flowfile.description という属性が追加されます。この属性の値は、データのオリジナルコピーの属性と、 FlowFile Descriptionプロパティによって決定されます。

こちらもご覧ください