ListBoxFile 2025.5.31.15

Bundle

org.apache.nifi | nifi-box-nar

Description

Liste les fichiers d’un dossier Box. Chaque fichier répertorié peut donner lieu à un FlowFile, les métadonnées étant écrites sous forme d’attributs FlowFile. Ou, dans le cas où la propriété “Record Writer” est paramétrée, l’ensemble du résultat est écrit sous forme d’enregistrements sur un seul FlowFile. Ce processeur est conçu pour fonctionner uniquement sur le nœud principal d’un cluster. Si le nœud principal change, le nouveau nœud principal reprendra là où le précédent s’est arrêté sans dupliquer toutes les données.

Balises

box, stockage

Exigences en matière d’entrées

FORBIDDEN

Prend en charge les propriétés dynamiques sensibles

false

Propriétés

Propriété

Description

box-client-service

Controller Service utilisé pour obtenir une connexion Box API.

box-folder-id

L’ID du dossier à partir duquel la liste des fichiers doit être extraite.

et-initial-listing-target

Indiquez comment le listing initial doit être traité. Utilisé par la stratégie « Entités de suivi ».

et-state-cache

Les entités répertoriées sont stockées dans le stockage en cache spécifié afin que ce processeur puisse reprendre le listing lors du redémarrage de NiFi ou en cas de changement de nœud principal. la stratégie « Entités de suivi » requiert les informations de suivi de toutes les entités de la liste au cours de la dernière « fenêtre de suivi ». Pour prendre en charge un grand nombre d’entités, la stratégie utilise DistributedMapCache au lieu de l’état géré. Le format de la clé de cache est “ListedEntities::{processorId}(::{nodeId})”. S’il s’agit d’entités répertoriées par nœud, la partie facultative « ::{nodeId} » est ajoutée pour gérer l’état séparément. Par exemple, clé de cache à l’échelle du clustering = “ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b”, clé de cache par nœud = “ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b::nifi-node3” Le contenu de cache stocké est une chaîne JSON compressée avec Gzip. La clé de cache sera supprimée lorsque la configuration du listing cible sera modifiée. Utilisé par la stratégie « Entités de suivi ».

et-time-window

Indiquez pendant combien de temps ce processeur doit suivre les entités déjà inscrites sur la liste. La stratégie « Suivi des entités » permet de sélectionner toute entité dont l’horodatage se situe à l’intérieur de la fenêtre temporelle spécifiée. Par exemple, si le paramètre est fixé à « 30 minutes », toute entité dont l’horodatage se situe dans les 30 dernières minutes sera la cible du listing lors de l’exécution de ce processeur. Une entité de la liste est considérée comme « nouvelle/mise à jour » et un FlowFile est émis si l’une des conditions suivantes est remplie : 1. n’existe pas dans les entités déjà répertoriées, 2. a un horodatage plus récent que celui de l’entité mise en cache, 3. a une taille différente de celle de l’entité mise en cache. Si l’horodatage d’une entité mise en cache devient plus ancien que la fenêtre temporelle spécifiée, cette entité sera retirée de la liste des entités déjà mises en cache. Utilisé par la stratégie « Entités de suivi ».

listing-strategy

Précisez comment déterminer les entités nouvelles/mises à jour. Voir les descriptions de chaque stratégie pour plus de détails.

min-age

L’ancienneté minimum que doit avoir un fichier pour être pris en compte ; tout fichier plus récent sera ignoré.

record-writer

Spécifie le Record Writer à utiliser pour créer le listing. Si vous ne le précisez pas, un FlowFile sera créé pour chaque entité inscrite sur la liste. Si le Record Writer est spécifié, toutes les entités seront écrites sur un seul FlowFile au lieu d’ajouter des attributs à des FlowFiles individuels.

recursive-search

Si la valeur est “true”, la liste des fichiers des sous-dossiers sera incluse. Dans le cas contraire, seuls les fichiers se trouvant dans le dossier défini par la propriété « ID de dossier » seront renvoyés.

Gestion de l’État

Champs d’application

Description

CLUSTER

Le processeur stocke les données nécessaires pour pouvoir suivre les fichiers qui ont déjà été répertoriés. Ce qui doit être stocké dépend de la « stratégie de listing ».

Relations

Nom

Description

success

Tous les FlowFiles reçus sont routés vers le succès

Écrit les attributs

Nom

Description

box.id

L’identifiant du fichier

filename

Le nom du fichier

path

Le chemin du dossier où se trouve le fichier

box.size

La taille du fichier

box.timestamp

L’heure de la dernière modification du fichier

Voir aussi :