DetectDuplicate 2025.5.31.15

バンドル

org.apache.nifi | nifi-standard-nar

説明

各入力 FlowFile に対して、 FlowFile 属性から計算された値をキャッシュし、キャッシュされた値が既に参照されているかどうかを判断します。もしそうなら、 <FlowFile Description> プロパティで指定されている、元の FlowFile の "description "を指定する'original.identifier'という属性を持つ FlowFile を'duplicate'にルーティングします。FlowFile が重複であると判断されなかった場合、プロセッサーは FlowFile を「重複しない」にルーティングします。

タグ

デデュープ、デュープ、デュプリケート、ハッシュ

入力要件

REQUIRED

機密動的プロパティをサポート

false

プロパティ

プロパティ

説明

エイジオフ期間

エイジオフキャッシュされた FlowFiles を削除する時間間隔

キャッシュエントリ識別子

FlowFile 属性、または重複を識別するために使用される値を決定するために FlowFile に対して評価される属性式言語ステートメントの結果で、キャッシュされたこの値

キャッシュ エントリの識別子

trueにすると、プロセッサーは重複をチェックし、エントリ識別子をキャッシュします。Falseの場合、プロセッサーは重複チェックのみを行い、エントリ識別子をキャッシュしないため、別のプロセッサーが分散キャッシュに識別子を追加する必要があります。

分散キャッシュサービス

一意な識別子をキャッシュするために使用されるController Service。

FlowFile 説明

FlowFile がキャッシュに追加されると、この値も一緒に保存され、重複が見つかった場合、重複の "original.flowfile.description" 属性に元の FlowFile の説明が追加されます。

リレーションシップ

名前

説明

duplicate

FlowFile は、重複が検出された場合、このリレーションシップにルーティングされます。

failure

キャッシュと通信できない場合、 FlowFile にはペナルティが課せられ、この関係にルーティングされます。

non-duplicate

FlowFile のキャッシュ・エントリ識別子がキャッシュ内で見つからなかった場合、このリレーションにルーティングされます。

属性の書き込み

名前

説明

original.flowfile.description

複製関係にルーティングされたすべての FlowFiles には、original.flowfile.description という属性が追加されます。この属性の値は、データのオリジナルコピーの属性と、 FlowFile Descriptionプロパティによって決定されます。

こちらもご覧ください