ListSmb 2025.5.31.15¶
Bundle¶
org.apache.nifi | nifi-smb-nar
Description¶
Liste des fichiers concrets partagés via le protocole SMB. Chaque fichier répertorié peut donner lieu à un FlowFile, les métadonnées étant écrites sous forme d’attributs FlowFile. Ou, dans le cas où la propriété “Record Writer” est paramétrée, l’ensemble du résultat est écrit sous forme d’enregistrements sur un seul FlowFile. Ce processeur est conçu pour fonctionner uniquement sur le nœud principal d’un cluster. Si le nœud principal change, le nouveau nœud principal reprendra là où le précédent s’est arrêté sans dupliquer toutes les données.
Exigences en matière d’entrées¶
FORBIDDEN
Prend en charge les propriétés dynamiques sensibles¶
false
Propriétés¶
Propriété |
Description |
|---|---|
directory |
Le dossier réseau à partir duquel les fichiers doivent être répertoriés. Voici le chemin relatif restant après le partage : smb://HOSTNAME:PORT/SHARE/[DIRECTORY]/sous/répertoires. Il est également possible d’ajouter des sous-répertoires. Le chemin donné doit exister sur le partage de fichiers distant. Ceci peut être vérifié à l’aide d’un contrôle. Vous pouvez mélanger les séparateurs de répertoire de type Windows et Linux. |
et-initial-listing-target |
Indiquez comment le listing initial doit être traité. Utilisé par la stratégie « Entités de suivi ». |
et-state-cache |
Les entités répertoriées sont stockées dans le stockage en cache spécifié afin que ce processeur puisse reprendre le listing lors du redémarrage de NiFi ou en cas de changement de nœud principal. la stratégie « Entités de suivi » requiert les informations de suivi de toutes les entités de la liste au cours de la dernière « fenêtre de suivi ». Pour prendre en charge un grand nombre d’entités, la stratégie utilise DistributedMapCache au lieu de l’état géré. Le format de la clé de cache est “ListedEntities::{processorId}(::{nodeId})”. S’il s’agit d’entités répertoriées par nœud, la partie facultative « ::{nodeId} » est ajoutée pour gérer l’état séparément. Par exemple, clé de cache à l’échelle du clustering = “ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b”, clé de cache par nœud = “ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b::nifi-node3” Le contenu de cache stocké est une chaîne JSON compressée avec Gzip. La clé de cache sera supprimée lorsque la configuration du listing cible sera modifiée. Utilisé par la stratégie « Entités de suivi ». |
et-time-window |
Indiquez pendant combien de temps ce processeur doit suivre les entités déjà inscrites sur la liste. La stratégie « Suivi des entités » permet de sélectionner toute entité dont l’horodatage se situe à l’intérieur de la fenêtre temporelle spécifiée. Par exemple, si le paramètre est fixé à « 30 minutes », toute entité dont l’horodatage se situe dans les 30 dernières minutes sera la cible du listing lors de l’exécution de ce processeur. Une entité de la liste est considérée comme « nouvelle/mise à jour » et un FlowFile est émis si l’une des conditions suivantes est remplie : 1. n’existe pas dans les entités déjà répertoriées, 2. a un horodatage plus récent que celui de l’entité mise en cache, 3. a une taille différente de celle de l’entité mise en cache. Si l’horodatage d’une entité mise en cache devient plus ancien que la fenêtre temporelle spécifiée, cette entité sera retirée de la liste des entités déjà mises en cache. Utilisé par la stratégie « Entités de suivi ». |
file-filter |
Seuls les fichiers dont le nom correspond à l’expression régulière donnée seront répertoriés. |
file-name-suffix-filter |
Les fichiers se terminant par le suffixe donné seront omis. Peut être utilisé pour s’assurer que les fichiers en cours de téléchargement ne sont pas répertoriés plusieurs fois, en faisant en sorte que ces fichiers aient un suffixe et en supprimant ce suffixe une fois le téléchargement terminé. Ceci est fortement recommandé lorsque vous utilisez les stratégies de listing « Entités de suivi » ou « Horodatage de suivi ». |
initial-listing-strategy |
Indique comment traiter les fichiers existants sur le partage SMB lorsque le processeur est démarré pour la première fois (ou que son état a été effacé). |
initial-listing-timestamp |
L’horodatage à partir duquel les fichiers seront répertoriés lorsque le processeur est démarré pour la première fois (ou que son état a été effacé). La valeur peut être spécifiée sous la forme d’un horodatage en millisecondes ou d’un horodatage UTC dans un format tel que 2025-02-01T00:00:00Z |
listing-strategy |
Précisez comment déterminer les entités nouvelles/mises à jour. Voir les descriptions de chaque stratégie pour plus de détails. |
max-file-age |
Tout fichier plus ancien que la valeur indiquée sera omis. |
max-file-size |
Tout fichier dont la taille est supérieure à la valeur indiquée sera omis. |
min-file-age |
L’âge minimum qu’un fichier doit avoir pour être annoncé ; tout fichier plus récent sera ignoré. |
min-file-size |
Tout fichier dont la taille est inférieure à la valeur indiquée sera omis. |
path-filter |
Seuls les fichiers dont le chemin (jusqu’au répertoire parent du fichier) correspond à l’expression régulière donnée seront répertoriés. |
record-writer |
Spécifie le Record Writer à utiliser pour créer le listing. Si vous ne le précisez pas, un FlowFile sera créé pour chaque entité inscrite sur la liste. Si le Record Writer est spécifié, toutes les entités seront écrites sur un seul FlowFile au lieu d’ajouter des attributs à des FlowFiles individuels. |
smb-client-provider-service |
Spécifie le fournisseur du client SMB à utiliser pour créer des connexions SMB. |
target-system-timestamp-precision |
Spécifiez la précision de l’horodatage dans le système cible. Étant donné que ce processeur utilise l’horodatage des entités pour décider lesquelles doivent être répertoriées, il est crucial d’utiliser la bonne précision d’horodatage. |
Gestion de l’État¶
Champs d’application |
Description |
|---|---|
CLUSTER |
Après avoir effectué un listing de fichiers, l’état du listing précédent peut être stocké afin de répertorier les fichiers en continu sans duplication. |
Relations¶
Nom |
Description |
|---|---|
success |
Tous les FlowFiles reçus sont routés vers le succès |
Écrit les attributs¶
Nom |
Description |
|---|---|
filename |
Le nom du fichier qui a été lu à partir du système de fichiers. |
nom court |
Le nom court du fichier qui a été lu dans le système de fichiers. |
path |
Le chemin est défini comme chemin relatif du répertoire de fichier sur le système de fichiers distant par rapport au répertoire racine Share. Par exemple, pour un emplacement distant donné smb://HOSTNAME:PORT/SHARE/DIRECTORY, et si un fichier est annoncé à partir de smb://HOSTNAME:PORT/SHARE/DIRECTORY/sub/folder/file, alors l’attribut chemin sera défini comme DIRECTORY/sub/folder. |
emplacement des services |
URL SMB de l’action. |
lastModifiedTime |
L’horodatage du moment où le contenu du fichier a été modifié dans le système de fichiers sous la forme ‘aaaa-MM-jj’T’HH: mm:ss”. |
heure de création |
L’horodatage de la date de création du fichier dans le système de fichiers sous la forme ‘aaaa-MM-jj’T’HH: mm:ss”. |
lastAccessTime |
L’horodatage de la date d’accès au fichier dans le système de fichiers sous la forme ‘aaaa-MM-jj’T’HH: mm:ss”. |
heure de modification |
L’horodatage de la date à laquelle les attributs du fichier ont été modifiés dans le système de fichiers sous la forme ‘aaaa-MM-jj’T’HH: mm:ss”. |
size |
La taille du fichier en octets. |
taille de l’allocation |
Nombre d’octets alloués au fichier sur le serveur. |