SnowflakeDetectDuplicate 2025.10.2.19¶

Bundle¶

com.snowflake.openflow.runtime | runtime-snowflake-processors-nar

Beschreibung¶

Prüft, ob ein FlowFile des Hashwerts (bereitgestellt als FlowFile-Attribut) bereits in einer Snowflake-Tabelle enthalten ist, und routet die FlowFile zu ‚duplicate‘, wenn sie gefunden wurde, ‚eindeutig‘, wenn sie nicht gefunden wurde, oder ‚failure‘ bei Fehlern.

Tags¶

database, detect, duplicates, hash, snowflake

Eingabeanforderung¶

REQUIRED

Unterstützt sensible dynamische Eigenschaften¶

false

Eigenschaften¶

Eigenschaft	Beschreibung
Content Hash	Der Name des FlowFile-Attributs, das den vorberechneten Hashwert enthält. Supports Expression Language.
Document Source Identifier	Gibt den Bezeichner der Dokumentquelle an (doc ID). Supports Expression Language.
Document Source Name	Gibt den Systemnamen der Dokumentquelle an. Supports Expression Language.
Snowflake Connection Service	Der DBCPService, der die Verbindung zu Snowflake herstellt.
Snowflake-Tabellenname	Der Name der Snowflake-Tabelle, in der die Datei-Hashes gespeichert sind. Beim Tabellennamen wird zwischen Groß- und Kleinschreibung nicht unterschieden. Datenbank und Schema müssen zuvor im Snowflake Connection Service konfiguriert werden.

Beziehungen¶

Name	Beschreibung
distinct	FlowFiles, die nicht mit einem bestehenden Dokument übereinstimmen, werden hierher weitergeleitet (neuer Hashwert eingefügt).
duplicate	FlowFiles, die mit einem vorhandenen Dokument übereinstimmen (gleicher Hashwert), werden hierher weitergeleitet.
failure	FlowFiles, die während der Verarbeitung auf einen Fehler oder eine Ausnahme stoßen, werden hierher weitergeleitet.

Schreibt Attribute¶

Name	Beschreibung
snowflake.detect.duplicate	Ein „true“- oder „false“-Attribut, das angibt, ob das FlowFile als Duplikat erkannt wurde.