ListDropbox 2025.5.31.15

Bundle

org.apache.nifi | nifi-dropbox-processors-nar

Beschreibung

Ruft eine Liste von Dateien aus Dropbox ab (Verknüpfungen werden ignoriert). Jede aufgelistete Datei kann zu einem FlowFile führen, wobei die Metadaten als FlowFile-Attribute geschrieben werden. Wenn die Eigenschaft „Record Writer“ eingestellt ist, wird das gesamte Ergebnis in Form von Datensätzen in ein einziges FlowFile geschrieben. Dieser Prozessor ist für den Betrieb auf dem primären Knoten in einem Cluster vorgesehen. Wenn sich der primäre Knoten ändert, macht der neue primäre Knoten dort weiter, wo der vorherige Knoten aufgehört hat, ohne alle Daten zu duplizieren.

Tags

dropbox, storage

Eingabeanforderung

FORBIDDEN

Unterstützt sensible dynamische Eigenschaften

false

Eigenschaften

Eigenschaft

Beschreibung

dropbox-credential-service

Controller Service, der verwendet wird, um Dropbox-Anmeldeinformationen zu erhalten (App Key, App Secret, Access Token, Refresh Token). Weitere Informationen finden Sie in den zusätzlichen Details des Controller-Dienstes.

et-initial-listing-target

Legen Sie fest, wie das erste Freigabeangebot behandelt werden soll. Wird von der Strategie „Tracking Entities“ verwendet.

et-state-cache

Freigegebene Entitäten werden im angegebenen Cache-Speicher gespeichert, sodass dieser Prozessor die Freigabe bei einem Neustart von NiFi oder bei einem Wechsel des primären Knotens wieder aufnehmen kann. „Tracking Entities“-Strategie erfordert Tracking-Informationen von allen aufgelisteten Entitäten innerhalb des letzten „Tracking Time Window“. Um eine große Anzahl von Entitäten zu unterstützen, verwendet die Strategie DistributedMapCache anstelle eines verwalteten Zustands. Das Format des Cache-Schlüssels ist „ListedEntities: :{processorId}(::{nodeId})“. Wenn es pro Knoten aufgelistete Entitäten verfolgt, dann wird der optionale Teil „::{nodeId}“ hinzugefügt, um den Status separat zu verwalten. Beispiel: Clusterweiter Cache-Schlüssel = „ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b“, Cache-Schlüssel pro Knoten = „ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b::nifi-node3“ Der gespeicherte Cache-Inhalt ist eine Gzipped JSON-Zeichenkette. Der Cache-Schlüssel wird gelöscht, wenn die Konfiguration der Zielliste geändert wird. Wird von der Strategie „Tracking Entities“ verwendet.

et-time-window

Geben Sie an, wie lange dieser Prozessor bereits gelistete Entitäten verfolgen soll. Die Strategie „Tracking Entities“ kann jede Entität auswählen, deren Zeitstempel innerhalb des angegebenen Zeitfensters liegt. Wenn Sie z. B. „30 Minuten“ einstellen, wird jede Entität, deren Zeitstempel in den letzten 30 Minuten liegt, das Ziel des Freigabeangebots sein, wenn dieser Prozessor läuft. Ein gelistete Entität gilt als „neu/aktualisiert“ und ein FlowFile wird ausgegeben, wenn eine der folgenden Bedingungen erfüllt ist: 1. Sie ist nicht in den bereits gelisteten Entitäten vorhanden, 2. Sie hat einen neueren Zeitstempel als die zwischengespeicherte Entität, 3. Sie hat eine andere Größe als die zwischengespeicherte Entität. Wenn der Zeitstempel einer zwischengespeicherten Entität älter ist als das angegebene Zeitfenster, wird diese Entität aus den zwischengespeicherten, bereits gelisteten Entitäten entfernt. Wird von der Strategie „Tracking Entities“ verwendet.

folder

Der Dropbox Bezeichner oder der Pfad des Ordners, aus dem die Liste der Dateien abgerufen werden soll. „Folder“ sollte dem folgenden regulären Ausdruck entsprechen: /.*|id:.*. Beispiel für den Bezeichner des Ordners: id:odTlUvbpIEAAAAAAAAAGGQ. Beispiel für einen Ordnerpfad: /Team1/Aufgabe1.

listing-strategy

Legen Sie fest, wie neue/aktualisierte Entitäten ermittelt werden sollen. Weitere Informationen finden Sie in den Beschreibungen der einzelnen Strategien.

min-age

Das Mindestalter, das eine Datei haben muss, um berücksichtigt zu werden. Alle Dateien, die jünger sind als dieser Wert, werden ignoriert.

proxy-configuration-service

Gibt den Proxy-Konfigurations-Controller Service an für die Weiterleitung von Netzwerkanforderungen festl.

record-writer

Gibt den Record Writer an, der zum Erstellen der Liste verwendet werden soll. Wenn nicht angegeben, wird für jede aufgelistete Entität ein FlowFile erstellt. Wenn der Record Writer angegeben ist, werden alle Entitäten in ein einziges FlowFile geschrieben, anstatt Attribute zu einzelnen FlowFiles hinzuzufügen.

recursive-search

Gibt an, ob Dateien aus Unterordnern des Dropbox-Ordners aufgelistet werden sollen.

Statusmanagement

Bereiche

Beschreibung

CLUSTER

Der Prozessor speichert die notwendigen Daten, um zu verfolgen, welche Dateien bereits aufgelistet wurden. Was genau gespeichert werden muss, hängt von der „Listing Strategy“ ab.

Beziehungen

Name

Beschreibung

success

Alle FlowFiles, die empfangen werden, werden an die Beziehung „success“ weitergeleitet.

Schreibt Attribute

Name

Beschreibung

dropbox.id

Der Dropbox Bezeichner der Datei

Pfad

Der Ordnerpfad, in dem die Datei gespeichert ist

filename

Der Name der Datei

dropbox.size

Die Größe der Datei

dropbox.timestamp

Die vom Server geänderte Zeit der Datei

dropbox.revision

Revision der Datei

Siehe auch: