SnowflakeDetectDuplicate 2025.10.2.19

Pacote

com.snowflake.openflow.runtime | runtime-snowflake-processors-nar

Descrição

Checks if a FlowFile “s hash (provided as a FlowFile attribute) is already in a Snowflake table, and routes the FlowFile to” duplicate “if found,”distinct “if not found, or” failure” on errors.

Tags

database, detect, duplicates, hash, snowflake

Requisito de entrada

REQUIRED

Oferece suporte a propriedades dinâmicas confidenciais

falso

Propriedades

Propriedade

Descrição

Hash de conteúdo

O nome do atributo do FlowFile que contém o hash pré-calculado. Oferece suporte à linguagem de expressão.

Identificador da fonte do documento

Especifica o identificador da fonte do documento (ID de doc). Oferece suporte à linguagem de expressão.

Nome da fonte do documento

Especifica o nome do sistema de origem do documento. Oferece suporte à linguagem de expressão.

Serviço de conexão Snowflake

O DBCPService que fornece conexão ao Snowflake.

Nome de tabela Snowflake

The Snowflake table name that stores the file hashes. The table name is case-insensitive. Database and schema must be configured prior in the Snowflake Connection Service.

Relações

Nome

Descrição

distinct

Os FlowFiles que não correspondem a um documento existente são encaminhados para cá (novo hash inserido).

duplicate

Os FlowFiles que correspondem a um documento existente (mesmo hash) são encaminhados para cá.

failure

Os FlowFiles que encontram um erro ou exceção durante o processamento são encaminhados para cá.

Grava atributos

Nome

Descrição

snowflake.detect.duplicate

Um atributo “true” ou “false” que indica se o FlowFile foi detectado como uma duplicata.