DetectDuplicate 2025.10.2.19¶

Pacote¶

org.apache.nifi | nifi-standard-nar

Descrição¶

Caches a value, computed from FlowFile attributes, for each incoming FlowFile and determines if the cached value has already been seen. If so, routes the FlowFile to “duplicate” with an attribute named “original.identifier” that specifies the original FlowFile “s «description», which is specified in the <FlowFile Description> property. If the FlowFile is not determined to be a duplicate, the Processor routes the FlowFile to” non-duplicate”

Tags¶

dedupe, dupe, duplicate, hash

Requisito de entrada¶

REQUIRED

Oferece suporte a propriedades dinâmicas confidenciais¶

falso

Propriedades¶

Propriedade	Descrição
Duração de expiração	Intervalo de tempo para a expiração dos FlowFiles em cache
Identificador de entrada de cache	Um atributo FlowFile, ou os resultados de uma instrução da linguagem de expressão de atributo, que será avaliado em um FlowFile para determinar o valor usado para identificar duplicatas; é esse valor que é armazenado em cache
Armazenar o identificador de entrada em cache	Quando verdadeiro, isso faz com que o processador verifique se há duplicatas e armazene em cache o identificador de entrada. Quando falso, o processador verificaria apenas as duplicatas e não armazenaria em cache o identificador de entrada, exigindo que outro processador adicionasse identificadores ao cache distribuído.
Serviço de cache distribuído	O Controller Service usado para armazenar em cache identificadores exclusivos usados para determinar duplicatas
Descrição FlowFile	Quando um FlowFile é adicionado ao cache, esse valor é armazenado junto com ele, de modo que, se uma duplicata for encontrada, essa descrição do FlowFile original será adicionada ao atributo “original.flowfile.description” da duplicata

Relações¶

Nome	Descrição
duplicate	Se for detectado que um FlowFile é uma duplicata, ele será encaminhado para essa relação
failure	Se não conseguir se comunicar com o cache, o FlowFile será penalizado e encaminhado para essa relação
non-duplicate	Se o identificador de entrada de cache do FlowFile não for encontrado no cache, ele será encaminhado para essa relação

Grava atributos¶

Nome	Descrição
original.flowfile.description	Todos os FlowFiles encaminhados para a relação duplicada terão um atributo adicionado chamado original.flowfile.description. O valor desse atributo é determinado pelos atributos da cópia original dos dados e pela propriedade de descrição do FlowFile.