DetectDuplicate 2025.5.31.15

번들

org.apache.nifi | nifi-standard-nar

설명

수신 각 FlowFile 에 대해 FlowFile 특성에서 계산된 값을 캐시하고 캐시된 값이 이미 표시되었는지 확인합니다. 그러한 경우 <FlowFile Description> 속성에 지정된 원본 FlowFile 의 “설명”을 지정하는 ‘original.identifier’라는 특성을 사용하여 FlowFile 을 ‘duplicate’로 라우팅합니다. FlowFile 이 중복으로 판단되지 않으면 프로세서는 FlowFile 을 ‘비중복’으로 라우팅합니다

태그

dedupe, dupe, duplicate, hash

입력 요구 사항

REQUIRED

민감한 동적 속성 지원

false

속성

속성

설명

Age Off Duration

캐시된 FlowFiles 이 만료되기까지의 시간 간격

Cache Entry Identifier

FlowFile 특성 또는 특성 표현식 언어 문의 결과로, 중복을 식별하는 데 사용되는 값을 결정하기 위해 FlowFile 에 대해 평가되며 이 값이 캐시됩니다.

Cache The Entry Identifier

true이면 프로세서가 중복 여부를 확인하고 항목 식별자를 캐시합니다. false이면 프로세서는 중복 여부만 확인하고 항목 식별자를 캐시하지 않으므로 다른 프로세서가 분산된 캐시에 식별자를 추가해야 합니다.

Distributed Cache Service

고유 식별자를 캐시하는 데 사용되는 컨트롤러 서비스로, 중복 여부를 확인하는 데 사용됩니다

FlowFile 설명

FlowFile 이 캐시에 추가되면 이 값이 함께 저장되어 중복이 발견되면 원본 FlowFile 에 대한 이 설명이 중복의 “original.flowfile.description” 특성에 추가됩니다

관계

이름

설명

중복

FlowFile 이 중복으로 감지된 경우 이 관계로 라우팅됩니다

실패

캐시와 통신할 수 없는 경우 FlowFile 에 페널티가 적용되고 이 관계로 라우팅됩니다

중복되지 않음

FlowFile 의 캐시 항목 식별자를 캐시에서 찾을 수 없는 경우 이 관계로 라우팅됩니다

Writes 특성

이름

설명

original.flowfile.description

중복 관계로 라우팅되는 모든 FlowFiles 에는 original.flowfile.description이라는 특성이 추가됩니다. 이 속성의 값은 데이터 원본 복사본의 특성과 FlowFile 설명 속성에 의해 결정됩니다.

참고 항목