ListSFTP 2025.5.31.15

Bundle

org.apache.nifi | nifi-standard-nar

Description

Effectue une liste des fichiers résidant sur un serveur SFTP. Pour chaque fichier trouvé sur le serveur distant, un nouveau FlowFile est créé avec l’attribut de nom de fichier défini comme le fichier du serveur distant. Vous pouvez ensuite l’utiliser en conjonction avec FetchSFTP pour récupérer ces fichiers.

Balises

files, ingest, input, list, remote, sftp, source

Exigences en matière d’entrées

FORBIDDEN

Prend en charge les propriétés dynamiques sensibles

false

Propriétés

Propriété

Description

Chiffres autorisés

Liste séparée par des virgules des codes autorisés pour les connexions SFTP. Laissez le champ libre pour autoriser tout le monde. Les options disponibles sont : 3des-cbc, 3des-ctr, aes128-cbc, aes128-ctr, aes128-gcm@openssh.com, aes192-cbc, aes192-ctr, aes256-cbc, aes256-ctr, aes256-gcm@openssh.com, arcfour, arcfour128, arcfour256, blowfish-cbc, blowfish-ctr, cast128-cbc, cast128-ctr, chacha20-poly1305@openssh.com, idea-cbc, idea-ctr, serpent128-cbc, serpent128-ctr, serpent192-cbc, serpent192-ctr, serpent256-cbc, serpent256-ctr, twofish-cbc, twofish128-cbc, twofish128-ctr, twofish192-cbc, twofish192-ctr, twofish256-cbc, twofish256-ctr

Connection Timeout

Délai d’attente avant l’interruption de la création d’une connexion

Délai d’expiration des données

Lors du transfert d’un fichier entre le système local et le système distant, cette valeur indique le temps qui peut s’écouler sans qu’aucune donnée ne soit transférée entre les systèmes

Filtre de fichier Regex

Fournit une expression régulière Java pour filtrer les noms de fichiers ; si un filtre est fourni, seuls les fichiers dont les noms correspondent à cette expression régulière seront recherchés

Fichier de clé d’hôte

Si fourni, le fichier donné sera utilisé comme clé hôte ; sinon, si la propriété « Strict Host Key Checking » est activée (mise sur true), alors les fichiers « known_hosts » et « known_hosts2 » du répertoire ~/.ssh seront utilisés, sinon aucun fichier de clé hôte ne sera utilisé.

Nom d’hôte

Le nom d’hôte entièrement qualifié ou l’adresse IP du système distant

Ignorer les fichiers en pointillés

Si true, les fichiers dont le nom commence par un point (« . ») seront ignorés

Algorithmes clés autorisés

Liste séparée par des virgules des algorithmes de clé autorisés pour les connexions SFTP. Laissez le champ libre pour autoriser tout le monde. Les options disponibles sont : ecdsa-sha2-nistp256, ecdsa-sha2-nistp256-cert-v01@openssh.com, ecdsa-sha2-nistp384, ecdsa-sha2-nistp384-cert-v01@openssh.com, ecdsa-sha2-nistp521, ecdsa-sha2-nistp521-cert-v01@openssh.com, rsa-sha2-256, rsa-sha2-512, ssh-dss, ssh-dss-cert-v01@openssh.com, ssh-ed25519, ssh-ed25519-cert-v01@openssh.com, ssh-rsa, ssh-rsa-cert-v01@openssh.com

Algorithmes d’échange de clés autorisés

Liste séparée par des virgules des algorithmes d’échange de clés autorisés pour les connexions SFTP. Laissez le champ libre pour autoriser tout le monde. Les options disponibles sont : curve25519-sha256, curve25519-sha256@libssh.org, diffie-hellman-group-exchange-sha1, diffie-hellman-group-exchange-sha256, diffie-hellman-group1-sha1, diffie-hellman-group14-sha1, diffie-hellman-group14-sha256, diffie-hellman-group14-sha256@ssh.com, diffie-hellman-group15-sha256, diffie-hellman-group15-sha256@ssh.com, diffie-hellman-group15-sha384@ssh.com, diffie-hellman-group15-sha512, diffie-hellman-group16-sha256, diffie-hellman-group16-sha384@ssh.com, diffie-hellman-group16-sha512, diffie-hellman-group16-sha512@ssh.com, diffie-hellman-group17-sha512, diffie-hellman-group18-sha512, diffie-hellman-group18-sha512@ssh.com, ecdh-sha2-nistp256, ecdh-sha2-nistp384, ecdh-sha2-nistp521, ext-info-c

Âge maximum du fichier

L’âge maximum d’un fichier pour qu’il puisse être extrait ; tout fichier plus ancien que cette durée (en fonction de la date de la dernière modification) sera ignoré

Taille maximale du fichier

Taille maximale d’un fichier pour qu’il puisse être extrait

Codes d’authentification des messages autorisés

Une liste de Codes d’authentification des messages autorisés pour les connexions SFTP, séparés par des virgules. Laissez le champ libre pour autoriser tout le monde. Les options disponibles sont : hmac-md5, hmac-md5-96, hmac-md5-96-etm@openssh.com, hmac-md5-etm@openssh.com, hmac-ripemd160, hmac-ripemd160-96, hmac-ripemd160-etm@openssh.com, hmac-ripemd160@openssh.com, hmac-sha1, hmac-sha1-96, hmac-sha1-96@openssh.com, hmac-sha1-etm@openssh.com, hmac-sha2-256, hmac-sha2-256-etm@openssh.com, hmac-sha2-512, hmac-sha2-512-etm@openssh.com

Âge minimum du fichier

L’âge minimum qu’un fichier doit avoir pour être extrait ; tout fichier plus jeune que cette durée (en fonction de la date de la dernière modification) sera ignoré

Taille minimale du fichier

La taille minimale que doit avoir un fichier pour être extrait

Mot de passe

Mot de passe du compte utilisateur

Regex de filtrage de chemin

Si la recherche récursive est true, seuls les sous-répertoires dont le chemin correspond à l’expression régulière donnée seront analysés

Port

Le port sur lequel le système distant écoute pour les transferts de fichiers

Phrase secrète de la clé privée

Mot de passe de la clé privée

Chemin de la clé privée

Le chemin complet du fichier de la clé privée

Chemin distant

Le chemin d’accès au système distant à partir duquel les fichiers doivent être extraits ou poussés

Recherche récursive

Si true, les fichiers seront extraits de sous-répertoires arbitrairement imbriqués ; sinon, les fichiers ne seront pas extraits des sous-répertoires

Envoyer un signal de maintien lors du dépassement du délai

Envoyer un signal de maintien toutes les 5 secondes jusqu’à 5 fois pour un délai d’expiration global de 25 secondes.

Vérification stricte de la clé de l’hôte

Indique si une application stricte des clés d’hôtes doit être mise en œuvre ou non

Utiliser la compression

Indique si la compression ZLIB doit être utilisée ou non lors du transfert de fichiers

NomUtilisateur

NomUtilisateur

et-initial-listing-target

Indiquez comment le listing initial doit être traité. Utilisé par la stratégie « Entités de suivi ».

et-state-cache

Les entités répertoriées sont stockées dans le stockage en cache spécifié afin que ce processeur puisse reprendre le listing lors du redémarrage de NiFi ou en cas de changement de nœud principal. la stratégie « Entités de suivi » requiert les informations de suivi de toutes les entités de la liste au cours de la dernière « fenêtre de suivi ». Pour prendre en charge un grand nombre d’entités, la stratégie utilise DistributedMapCache au lieu de l’état géré. Le format de la clé de cache est “ListedEntities::{processorId}(::{nodeId})”. S’il s’agit d’entités répertoriées par nœud, la partie facultative « ::{nodeId} » est ajoutée pour gérer l’état séparément. Par exemple, clé de cache à l’échelle du clustering = “ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b”, clé de cache par nœud = “ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b::nifi-node3” Le contenu de cache stocké est une chaîne JSON compressée avec Gzip. La clé de cache sera supprimée lorsque la configuration du listing cible sera modifiée. Utilisé par la stratégie « Entités de suivi ».

et-time-window

Indiquez pendant combien de temps ce processeur doit suivre les entités déjà inscrites sur la liste. La stratégie « Suivi des entités » permet de sélectionner toute entité dont l’horodatage se situe à l’intérieur de la fenêtre temporelle spécifiée. Par exemple, si le paramètre est fixé à « 30 minutes », toute entité dont l’horodatage se situe dans les 30 dernières minutes sera la cible du listing lors de l’exécution de ce processeur. Une entité de la liste est considérée comme « nouvelle/mise à jour » et un FlowFile est émis si l’une des conditions suivantes est remplie : 1. n’existe pas dans les entités déjà répertoriées, 2. a un horodatage plus récent que celui de l’entité mise en cache, 3. a une taille différente de celle de l’entité mise en cache. Si l’horodatage d’une entité mise en cache devient plus ancien que la fenêtre temporelle spécifiée, cette entité sera retirée de la liste des entités déjà mises en cache. Utilisé par la stratégie « Entités de suivi ».

suivre le lien symbolique

Si true, les fichiers symboliques ainsi que les sous-répertoires symboliques imbriqués seront extraits ; sinon, les fichiers symboliques ne seront pas lus et les sous-répertoires à liens symboliques ne seront pas traversés

listing-strategy

Précisez comment déterminer les entités nouvelles/mises à jour. Voir les descriptions de chaque stratégie pour plus de détails.

service proxy-configuration

Spécifie le Controller Service de configuration proxy pour les requêtes réseau proxy.

record-writer

Spécifie le Record Writer à utiliser pour créer le listing. Si vous ne le précisez pas, un FlowFile sera créé pour chaque entité inscrite sur la liste. Si le Record Writer est spécifié, toutes les entités seront écrites sur un seul FlowFile au lieu d’ajouter des attributs à des FlowFiles individuels.

target-system-timestamp-precision

Spécifiez la précision de l’horodatage dans le système cible. Étant donné que ce processeur utilise l’horodatage des entités pour décider lesquelles doivent être répertoriées, il est crucial d’utiliser la bonne précision d’horodatage.

Gestion de l’État

Champs d’application

Description

CLUSTER

Après avoir effectué un listing de fichiers, l’horodatage du fichier le plus récent est enregistré. Cela permet au processeur de dresser uniquement la liste des fichiers qui ont été ajoutés ou modifiés après cette date lors de la prochaine exécution du processeur. L’état est stocké dans tout le cluster afin que ce processeur puisse être exécuté uniquement sur le nœud principal et que, si un nouveau nœud principal est sélectionné, le nouveau nœud ne duplique pas les données qui ont été répertoriées par le nœud principal précédent.

Relations

Nom

Description

success

Tous les FlowFiles reçus sont routés vers le succès

Écrit les attributs

Nom

Description

sftp.remote.host

Le nom d’hôte du serveur SFTP

sftp.remote.port

Le port sur lequel la connexion a été établie sur le serveur SFTP

sftp.listing.user

Le nom d’utilisateur de l’utilisateur qui a effectué le listing SFTP

file.owner

L’identifiant numérique du propriétaire du fichier source

file.group

L’identifiant numérique du groupe du fichier source

file.permissions

Les autorisations de lecture/écriture/exécution du fichier source

file.size

Le nombre d’octets dans le fichier source

file.lastModifiedTime

Horodatage de la date de la dernière modification du fichier dans le système de fichiers sous la forme « aaaa-MM-jj’T’HH: mm:ssZ »

filename

Le nom du fichier sur le serveur SFTP

path

Le nom complet du répertoire du serveur SFTP à partir duquel le fichier a été extrait

mime.type

Le type MIME fourni par le Record Writer configuré

Voir aussi :