SnowflakeDetectDuplicate 2025.5.31.15

Pacote

com.snowflake.openflow.runtime | runtime-snowflake-processors-nar

Descrição

Verifica se o hash de um FlowFile (fornecido como atributo do FlowFile) já está em uma tabela Snowflake e encaminha o FlowFile para “duplicate” se encontrado, “distinct” se não encontrado ou “failure” em caso de erro.

Tags

database, detect, duplicates, hash, snowflake

Requisito de entrada

REQUIRED

Oferece suporte a propriedades dinâmicas confidenciais

falso

Propriedades

Propriedade

Descrição

Hash de conteúdo

O nome do atributo do FlowFile que contém o hash pré-calculado. Oferece suporte à linguagem de expressão.

Identificador da fonte do documento

Especifica o identificador da fonte do documento (ID de doc). Oferece suporte à linguagem de expressão.

Nome da fonte do documento

Especifica o nome do sistema de origem do documento. Oferece suporte à linguagem de expressão.

Serviço de conexão Snowflake

O DBCPService que fornece conexão ao Snowflake.

Nome de tabela Snowflake

O nome de tabela Snowflake que armazena os hashes do arquivo. O banco de dados e esquema devem ser configurados previamente no Serviço de conexão Snowflake.

Relações

Nome

Descrição

distinct

Os FlowFiles que não correspondem a um documento existente são encaminhados para cá (novo hash inserido).

duplicate

Os FlowFiles que correspondem a um documento existente (mesmo hash) são encaminhados para cá.

failure

Os FlowFiles que encontram um erro ou exceção durante o processamento são encaminhados para cá.

Grava atributos

Nome

Descrição

snowflake.detect.duplicate

Um atributo “true” ou “false” que indica se o FlowFile foi detectado como uma duplicata.