SnowflakeDetectDuplicate 2025.10.2.19

Pacote

com.snowflake.openflow.runtime | runtime-snowflake-processors-nar

Descrição

Verifica se o hash de um FlowFile (fornecido como um atributo do FlowFile) já está em uma tabela Snowflake e roteia o FlowFile para “duplicate” se encontrado, “distinct” se não encontrado ou “failure” em caso de erros.

Tags

database, detect, duplicates, hash, snowflake

Requisito de entrada

REQUIRED

Oferece suporte a propriedades dinâmicas confidenciais

falso

Propriedades

Propriedade

Descrição

Hash de conteúdo

O nome do atributo do FlowFile que contém o hash pré-calculado. Oferece suporte à linguagem de expressão.

Identificador da fonte do documento

Especifica o identificador da fonte do documento (ID de doc). Oferece suporte à linguagem de expressão.

Nome da fonte do documento

Especifica o nome do sistema de origem do documento. Oferece suporte à linguagem de expressão.

Serviço de conexão Snowflake

O DBCPService que fornece conexão ao Snowflake.

Nome de tabela Snowflake

O nome da tabela Snowflake que armazena os hashes de arquivo. O nome da tabela não diferencia maiúsculas e minúsculas. O banco de dados e o esquema devem ser configurados anteriormente no Snowflake Connection Service.

Relações

Nome

Descrição

distinct

Os FlowFiles que não correspondem a um documento existente são encaminhados para cá (novo hash inserido).

duplicate

Os FlowFiles que correspondem a um documento existente (mesmo hash) são encaminhados para cá.

failure

Os FlowFiles que encontram um erro ou exceção durante o processamento são encaminhados para cá.

Grava atributos

Nome

Descrição

snowflake.detect.duplicate

Um atributo “true” ou “false” que indica se o FlowFile foi detectado como uma duplicata.