SnowflakeDetectDuplicate 2025.5.31.15¶

Bundle¶

com.snowflake.openflow.runtime | runtime-snowflake-processors-nar

Beschreibung¶

Prüft, ob der Hashwert des FlowFile(der als FlowFile-Attribut angegeben wird) bereits in einer Snowflake-Tabelle enthalten ist und leitet das FlowFile bei einem Treffer an „duplicate“, bei keinem Treffer an „distinct“ und bei Fehlern an „failure“ weiter.

Tags¶

database, detect, duplicates, hash, snowflake

Eingabeanforderung¶

REQUIRED

Unterstützt sensible dynamische Eigenschaften¶

false

Eigenschaften¶

Eigenschaft	Beschreibung
Content Hash	Der Name des FlowFile-Attributs, das den vorberechneten Hashwert enthält. Supports Expression Language.
Document Source Identifier	Gibt den Bezeichner der Dokumentquelle an (doc ID). Supports Expression Language.
Document Source Name	Gibt den Systemnamen der Dokumentquelle an. Supports Expression Language.
Snowflake Connection Service	Der DBCPService, der die Verbindung zu Snowflake herstellt.
Snowflake-Tabellenname	Der Name der Snowflake-Tabelle, in der die Datei-Hashwerte gespeichert werden. Datenbank und Schema müssen zuvor im Snowflake Connection Service konfiguriert werden.

Beziehungen¶

Name	Beschreibung
distinct	FlowFiles, die nicht mit einem bestehenden Dokument übereinstimmen, werden hierher weitergeleitet (neuer Hashwert eingefügt).
duplicate	FlowFiles, die mit einem vorhandenen Dokument übereinstimmen (gleicher Hashwert), werden hierher weitergeleitet.
failure	FlowFiles, die während der Verarbeitung auf einen Fehler oder eine Ausnahme stoßen, werden hierher weitergeleitet.

Schreibt Attribute¶

Name	Beschreibung
snowflake.detect.duplicate	Ein „true“- oder „false“-Attribut, das angibt, ob das FlowFile als Duplikat erkannt wurde.