ListGCSBucket 2025.10.2.19¶

Bundle¶

org.apache.nifi | nifi-gcp-nar

Description¶

Récupère une liste d’objets dans un compartiment GCS. Pour chaque objet de la liste, créez un FlowFile qui représente l’objet de manière à ce qu’il puisse être recherché conjointement avec FetchGCSObject. Ce processeur est conçu pour fonctionner uniquement sur le nœud principal d’un cluster. Si le nœud principal change, le nouveau nœud principal reprendra là où le précédent s’est arrêté sans dupliquer toutes les données.

Balises¶

gcs, google, google cloud, list, storage

Exigences en matière d’entrées¶

FORBIDDEN

Prend en charge les propriétés dynamiques sensibles¶

false

Propriétés¶

Propriété	Description
Service des fournisseurs d’identifiants de connexion GCP	Le Controller Service utilisé pour obtenir les identifiants Google Cloud Platform.
et-initial-listing-target	Specify how initial listing should be handled. Used by “Tracking Entities’strategy.
et-state-cache	Listed entities are stored in the specified cache storage so that this processor can resume listing across NiFi restart or in case of primary node change. “Tracking Entities’strategy require tracking information of all listed entities within the last “Tracking Time Window”. To support large number of entities, the strategy uses DistributedMapCache instead of managed state. Cache key format is “ListedEntities::{processorId}(::{nodeId})”. If it tracks per node listed entities, then the optional “::{nodeId}” part is added to manage state separately. E.g. cluster wide cache key =”ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b”, per node cache key =”ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b::nifi-node3” The stored cache content is Gzipped JSON string. The cache key will be deleted when target listing configuration is changed. Used by “Tracking Entities’strategy.
et-time-window	Specify how long this processor should track already-listed entities. “Tracking Entities’strategy can pick any entity whose timestamp is inside the specified time window. For example, if set to “30 minutes”, any entity having timestamp in recent 30 minutes will be the listing target when this processor runs. A listed entity is considered “new/updated” and a FlowFile is emitted if one of following condition meets: 1. does not exist in the already-listed entities, 2. has newer timestamp than the cached entity, 3. has different size than the cached entity. If a cached entity “s timestamp becomes older than specified time window, that entity will be removed from the cached already-listed entities. Used by’Tracking Entities’strategy.
gcp-project-id	ID du projet Google Cloud
gcp-retry-count	Nombre de nouvelles tentatives à effectuer avant le routage vers la relation d’échec.
gcs-bucket	Compartiment de l’objet.
gcs-prefix	The prefix used to filter the object list. In most cases, it should end with a forward slash ( “/”).
gcs-use-generations	Specifies whether to use GCS Generations, if applicable. If false, only the latest version of each object will be returned.
listing-strategy	Précisez comment déterminer les entités nouvelles/mises à jour. Voir les descriptions de chaque stratégie pour plus de détails.
service proxy-configuration	Spécifie le Controller Service de configuration proxy pour les requêtes réseau proxy.
record-writer	Spécifie le Record Writer à utiliser pour créer le listing. Si vous ne le précisez pas, un FlowFile sera créé pour chaque entité inscrite sur la liste. Si le Record Writer est spécifié, toutes les entités seront écrites sur un seul FlowFile au lieu d’ajouter des attributs à des FlowFiles individuels.
storage-api-url	Remplace l’URL de stockage par défaut. La configuration d’une URL d’API Storage alternative permet également de remplacer l’en-tête Hôte HTTP dans les requêtes, comme indiqué dans la documentation Google sur les connexions aux services privés.

Gestion de l’État¶

Champs d’application	Description
CLUSTER	Après avoir établi le listing de clés, l’horodatage de la clé la plus récente est stocké, ainsi que les clés qui partagent le même horodatage. Cela permet au processeur de dresser uniquement la liste des clés qui ont été ajoutées ou modifiées après cette date lors de la prochaine exécution du processeur. L’état est stocké dans le clustering afin que ce processeur puisse être exécuté sur le nœud principal uniquement et que, si un nouveau nœud principal est sélectionné, le nouveau nœud puisse reprendre là où le précédent s’est arrêté, sans dupliquer les données.

Champs d’application

Description

CLUSTER

Après avoir établi le listing de clés, l’horodatage de la clé la plus récente est stocké, ainsi que les clés qui partagent le même horodatage. Cela permet au processeur de dresser uniquement la liste des clés qui ont été ajoutées ou modifiées après cette date lors de la prochaine exécution du processeur. L’état est stocké dans le clustering afin que ce processeur puisse être exécuté sur le nœud principal uniquement et que, si un nouveau nœud principal est sélectionné, le nouveau nœud puisse reprendre là où le précédent s’est arrêté, sans dupliquer les données.

Relations¶

Nom	Description
success	Les FlowFiles sont routés vers cette relation en cas de réussite de l’opération Google Cloud Storage.

Écrit les attributs¶

Nom	Description
filename	Le nom du fichier
gcs.bucket	Compartiment de l’objet.
gcs.key	Nom de l’objet.
gcs.size	Taille de l’objet.
gcs.cache.control	Contrôle du cache des données de l’objet.
gcs.component.count	Le nombre de composants qui constituent l’objet.
gcs.content.disposition	La disposition du contenu des données de l’objet.
gcs.content.encoding	Le codage du contenu de l’objet.
gcs.content.language	La langue de contenu de l’objet.
mime.type	Le MIME/Content-Type de l’objet.
gcs.crc32c	La somme de contrôle CRC32C des données de l’objet, encodée en base64 dans l’ordre big-endian.
gcs.create.time	Heure de création de l’objet (millisecondes).
gcs.update.time	Heure de la dernière modification de l’objet (en millisecondes).
gcs.encryption.algorithm	L’algorithme utilisé pour chiffrer l’objet.
gcs.encryption.sha256	Le hachage SHA256 de la clé utilisée pour chiffrer l’objet.
gcs.etag	La balise entité HTTP 1.1 de l’objet.
gcs.generated.id	Le service généré pour l’objet.
gcs.generation	La génération de données de l’objet.
gcs.md5	Le hachage MD5 des données de l’objet encodées en base64.
gcs.media.link	Le lien de téléchargement des médias vers l’objet.
gcs.metageneration	La métagénération de l’objet.
gcs.owner	Le propriétaire (téléchargeur) de l’objet.
gcs.owner.type	Le type d’entité ACL du téléverseur de l’objet.
gcs.acl.owner	Liste délimitée par des virgules des entités ACL qui ont un accès de propriétaire à l’objet. Les entités seront soit des adresses électroniques, soit des domaines, soit des projets IDs.
gcs.acl.writer	Liste délimitée par des virgules des entités ACL qui ont un accès en écriture à l’objet. Les entités seront soit des adresses électroniques, soit des domaines, soit des projets IDs.
gcs.acl.reader	Liste délimitée par des virgules des entités ACL qui ont un accès en lecture à l’objet. Les entités seront soit des adresses électroniques, soit des domaines, soit des projets IDs.
gcs.uri	L’URI de l’objet sous forme de chaîne.