ListFTP 2025.10.2.19

Bundle

org.apache.nifi | nifi-standard-nar

Description

Effectue une liste des fichiers résidant sur un serveur FTP. Pour chaque fichier trouvé sur le serveur distant, un nouveau FlowFile est créé avec l’attribut de nom de fichier défini comme le fichier du serveur distant. Vous pouvez ensuite l’utiliser en conjonction avec FetchFTP pour récupérer ces fichiers.

Balises

files, ftp, ingest, input, list, remote, source

Exigences en matière d’entrées

FORBIDDEN

Prend en charge les propriétés dynamiques sensibles

false

Propriétés

Propriété

Description

Mode de connexion

Le mode de connexion FTP

Connection Timeout

Délai d’attente avant l’interruption de la création d’une connexion

Délai d’expiration des données

Lors du transfert d’un fichier entre le système local et le système distant, cette valeur indique le temps qui peut s’écouler sans qu’aucune donnée ne soit transférée entre les systèmes

Filtre de fichier Regex

Fournit une expression régulière Java pour filtrer les noms de fichiers ; si un filtre est fourni, seuls les fichiers dont les noms correspondent à cette expression régulière seront recherchés

Nom d’hôte

Le nom d’hôte entièrement qualifié ou l’adresse IP du système distant

Ignorer les fichiers en pointillés

Si true, les fichiers dont le nom commence par un point (« . ») seront ignorés

Taille de la mémoire tampon interne

Paramètre la taille de la mémoire tampon interne pour les flux de données mis en mémoire tampon

Mot de passe

Mot de passe du compte utilisateur

Regex de filtrage de chemin

Si la recherche récursive est true, seuls les sous-répertoires dont le chemin correspond à l’expression régulière donnée seront analysés

Port

Le port auquel il faut se connecter sur l’hôte distant pour récupérer les données

Chemin distant

Le chemin d’accès au système distant à partir duquel les fichiers doivent être extraits ou poussés

Taille du lot d’interrogation distante

The value specifies how many file paths to find in a given directory on the remote system when doing a file listing. This value in general should not need to be modified but when polling against a remote system with a tremendous number of files this value can be critical. Setting this value too high can result very poor performance and setting it too low can cause the flow to be slower than normal.

Recherche récursive

Si true, les fichiers seront extraits de sous-répertoires arbitrairement imbriqués ; sinon, les fichiers ne seront pas extraits des sous-répertoires

Mode de transfert

Le mode de transfert FTP

NomUtilisateur

NomUtilisateur

et-initial-listing-target

Specify how initial listing should be handled. Used by “Tracking Entities’strategy.

et-state-cache

Listed entities are stored in the specified cache storage so that this processor can resume listing across NiFi restart or in case of primary node change. “Tracking Entities’strategy require tracking information of all listed entities within the last “Tracking Time Window”. To support large number of entities, the strategy uses DistributedMapCache instead of managed state. Cache key format is “ListedEntities::{processorId}(::{nodeId})”. If it tracks per node listed entities, then the optional “::{nodeId}” part is added to manage state separately. E.g. cluster wide cache key =”ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b”, per node cache key =”ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b::nifi-node3” The stored cache content is Gzipped JSON string. The cache key will be deleted when target listing configuration is changed. Used by “Tracking Entities’strategy.

et-time-window

Specify how long this processor should track already-listed entities. “Tracking Entities’strategy can pick any entity whose timestamp is inside the specified time window. For example, if set to “30 minutes”, any entity having timestamp in recent 30 minutes will be the listing target when this processor runs. A listed entity is considered “new/updated” and a FlowFile is emitted if one of following condition meets: 1. does not exist in the already-listed entities, 2. has newer timestamp than the cached entity, 3. has different size than the cached entity. If a cached entity “s timestamp becomes older than specified time window, that entity will be removed from the cached already-listed entities. Used by’Tracking Entities’strategy.

suivre le lien symbolique

Si true, les fichiers symboliques ainsi que les sous-répertoires symboliques imbriqués seront extraits ; sinon, les fichiers symboliques ne seront pas lus et les sous-répertoires à liens symboliques ne seront pas traversés

ftp-use-utf8

Indique au client d’utiliser le codage UTF-8 lors du traitement des fichiers et des noms de fichiers. S’il a la valeur true, le serveur doit également prendre en charge le codage UTF-8.

listing-strategy

Précisez comment déterminer les entités nouvelles/mises à jour. Voir les descriptions de chaque stratégie pour plus de détails.

service proxy-configuration

Spécifie le Controller Service de configuration proxy pour les requêtes réseau proxy.

record-writer

Spécifie le Record Writer à utiliser pour créer le listing. Si vous ne le précisez pas, un FlowFile sera créé pour chaque entité inscrite sur la liste. Si le Record Writer est spécifié, toutes les entités seront écrites sur un seul FlowFile au lieu d’ajouter des attributs à des FlowFiles individuels.

target-system-timestamp-precision

Spécifiez la précision de l’horodatage dans le système cible. Étant donné que ce processeur utilise l’horodatage des entités pour décider lesquelles doivent être répertoriées, il est crucial d’utiliser la bonne précision d’horodatage.

Gestion de l’État

Champs d’application

Description

CLUSTER

Après avoir effectué un listing de fichiers, l’horodatage du fichier le plus récent est enregistré. Cela permet au processeur de dresser uniquement la liste des fichiers qui ont été ajoutés ou modifiés après cette date lors de la prochaine exécution du processeur. L’état est stocké dans tout le cluster afin que ce processeur puisse être exécuté uniquement sur le nœud principal et que, si un nouveau nœud principal est sélectionné, le nouveau nœud ne duplique pas les données qui ont été répertoriées par le nœud principal précédent.

Relations

Nom

Description

success

Tous les FlowFiles reçus sont routés vers le succès

Écrit les attributs

Nom

Description

ftp.remote.host

Le nom d’hôte du serveur FTP

ftp.remote.port

Le port sur lequel la connexion a été établie sur le serveur FTP

ftp.liste.utilisateur

Le nom d’utilisateur de l’utilisateur qui a effectué le listing FTP

file.owner

L’identifiant numérique du propriétaire du fichier source

file.group

L’identifiant numérique du groupe du fichier source

file.permissions

Les autorisations de lecture/écriture/exécution du fichier source

file.size

Le nombre d’octets dans le fichier source

file.lastModifiedTime

Horodatage de la date de la dernière modification du fichier dans le système de fichiers sous la forme « aaaa-MM-jj’T’HH: mm:ssZ »

filename

Le nom du fichier sur le serveur FTP

path

Le nom complet du répertoire du serveur FTP à partir duquel le fichier a été extrait

Voir aussi :