ConsumeAzureEventHub 2025.5.31.15¶
Bundle¶
org.apache.nifi | nifi-azure-nar
Description¶
Reçoit des messages de Microsoft Azure Event Hubs avec un mécanisme de points de contrôle garantissant un traitement cohérent des événements. Le suivi des points de contrôle évite de consommer un message plusieurs fois et permet une reprise fiable du traitement en cas de défaillance intermittente du réseau. Le suivi des points de contrôle nécessite un stockage externe et constitue l’approche privilégiée pour consommer des messages provenant d’Azure Event Hubs. Dans un environnement en cluster, les instances du processeur ConsumeAzureEventHub forment un groupe de consommateurs et les messages sont répartis entre les nœuds du cluster (chaque message étant traité sur un seul nœud du cluster).
Exigences en matière d’entrées¶
FORBIDDEN
Prend en charge les propriétés dynamiques sensibles¶
false
Propriétés¶
Propriété |
Description |
|---|---|
Point de terminaison du bus de service |
Pour prendre en charge les espaces de noms ne faisant pas partie du domaine windows.net par défaut. |
Type de transport |
Type de transport du protocole avancé de mise en file d’attente des messages pour la communication avec les hubs d’événements Azure |
checkpoint-strategy |
Spécifie la stratégie à utiliser pour stocker et récupérer les informations relatives à la propriété des partitions et aux points de contrôle pour chaque partition. |
event-hub-batch-size |
Le nombre de messages à traiter au cours d’une session NiFi. Ce paramètre a une incidence sur le débit et la cohérence. NiFi valide sa session et les points de contrôle Event Hubs après avoir traité ce nombre de messages. Si la session NiFi est validée mais ne crée pas de points de contrôle Event Hubs, il est possible que les mêmes messages soient reçus à nouveau. Un nombre plus élevé entraîne un débit plus important, mais peut aussi diminuer la cohérence. |
event-hub-consumer-group |
Le nom du groupe de consommateurs à utiliser. |
event-hub-initial-offset |
Indiquez où commencer à recevoir les messages si le décalage n’est pas encore stocké dans le magasin de points de contrôle. |
event-hub-message-receive-timeout |
Le temps que ce consommateur doit attendre pour recevoir la taille de lot avant de retourner des données. |
event-hub-name |
Le nom du hub d’événements à partir duquel les messages doivent être extraits. |
event-hub-namespace |
L’espace de noms auquel l’instance Azure Event Hubs est affecté. Cette valeur prend généralement la forme <Nom Event Hubs>-ns. |
event-hub-prefetch-count |
|
event-hub-shared-access-policy-name |
Nom de la politique d’accès partagé. Cette politique doit être configurée avec Listen claims. |
event-hub-shared-access-policy-primary-key |
La clé de la politique d’accès partagé. Il est possible d’utiliser soit la clé primaire, soit la clé secondaire. |
service proxy-configuration |
Spécifie le Controller Service de configuration proxy pour les requêtes réseau proxy. |
record-reader |
Le Record Reader à utiliser pour lire les messages reçus. Le nom du hub d’événements peut être référencé par la formule Expression Language « ${eventhub.name} » pour accéder à un schéma. |
record-writer |
Le Record Writer à utiliser pour sérialiser les enregistrements vers un FlowFile de sortie. Le nom du hub d’événements peut être référencé par la formule Expression Language « ${eventhub.name} » pour accéder à un schéma. Si cette propriété n’est pas spécifiée, chaque message créera un FlowFile. |
storage-account-key |
La clé du compte Azure Storage utilisé pour stocker l’état du groupe de consommateurs du hub d’événements. |
storage-account-name |
Nom du compte Azure Storage utilisé pour stocker l’état du groupe de consommateurs du hub d’événements. |
storage-container-name |
Nom du conteneur Azure Storage utilisé pour stocker l’état du groupe de consommateurs du hub d’événements. Si cette propriété n’est pas spécifiée, le nom du hub d’événements est utilisé. |
stockage-sas-token |
Le jeton SAS Azure Storage utilisé pour stocker l’état du groupe de consommateurs d’Event Hub. Commence toujours par le caractère « ? » |
use-managed-identity |
Indique si l’identité gérée d’Azure VM/VMSS sera utilisée ou non |
Gestion de l’État¶
Champs d’application |
Description |
|---|---|
CLUSTER |
L’état local est utilisé pour stocker l’identifiant du client. L’état du cluster est utilisé pour stocker les informations relatives à la propriété des partitions et aux points de contrôle lorsque l’état du composant est configuré comme stratégie de point de contrôle. |
LOCAL |
L’état local est utilisé pour stocker l’identifiant du client. L’état du cluster est utilisé pour stocker les informations relatives à la propriété des partitions et aux points de contrôle lorsque l’état du composant est configuré comme stratégie de point de contrôle. |
Relations¶
Nom |
Description |
|---|---|
success |
FlowFiles reçus d’Event Hub. |
Écrit les attributs¶
Nom |
Description |
|---|---|
eventhub.enqueued.timestamp |
Heure (en millisecondes depuis l’époque, UTC) à laquelle le message a été mis en file d’attente dans le hub d’événements |
eventhub.offset |
Le décalage au sein de la partition où le message a été stocké |
eventhub.sequence |
Le numéro séquentiel associé au message |
eventhub.name |
Le nom du hub d’événements d’où le message a été extrait |
eventhub.partition |
Le nom de la partition à partir de laquelle le message a été extrait |
eventhub.property.* |
Les propriétés d’application de ce message. Exemple : « application » correspondrait à « eventhub.property.application » |