ConsumeAzureEventHub 2025.5.31.15¶
Bundle¶
org.apache.nifi | nifi-azure-nar
Beschreibung¶
Empfängt Meldungen von Microsoft Azure Event Hubs mit Checkpoints, um eine konsistente Ereignisverarbeitung sicherzustellen. Die Checkpoint-Verfolgung verhindert, dass eine Meldung mehrfach empfangen wird, und ermöglicht die zuverlässige Wiederaufnahme der Verarbeitung bei zeitweiligen Netzwerkausfällen. Die Checkpoint-Verfolgung erfordert externen Speicher und ist der bevorzugte Ansatz, um Meldungen von Azure Event Hubs zu verarbeiten. In einer Clustering-Umgebung bilden die ConsumeAzureEventHub-Prozessorinstanzen eine Verbrauchergruppe, und die Meldungen werden auf die Clusterknoten verteilt (jede Meldung wird nur auf einem Clusterknoten verarbeitet).
Eingabeanforderung¶
FORBIDDEN
Unterstützt sensible dynamische Eigenschaften¶
false
Eigenschaften¶
Eigenschaft |
Beschreibung |
|---|---|
Service-Bus-Endpunkt |
Zur Unterstützung von Namespaces, die nicht in der Standarddomäne windows.net enthalten sind. |
Transport Type |
Transporttyp Advanced Message Queuing Protocol für die Kommunikation mit Azure Event Hubs |
checkpoint-strategy |
Legt fest, welche Strategie zum Speichern und Abrufen von Partitionseigentümerschaft und Checkpoint-Informationen für jede Partition verwendet werden soll. |
event-hub-batch-size |
Die Anzahl der zu verarbeitenden Meldungen innerhalb einer NiFi-Sitzung. Dieser Parameter beeinflusst den Durchsatz und die Konsistenz. NiFi bestätigt die Sitzungs- und Event Hubs-Checkpoints nach der Verarbeitung dieser Anzahl von Meldungen. Wenn die NiFi-Sitzung bestätigt wird, aber kein Event Hubs-Checkpoint erstellt werden kann, ist es möglich, dass dieselben Meldungen erneut empfangen werden. Je höher die Zahl, desto höher der Durchsatz, aber möglicherweise weniger konsistent. |
event-hub-consumer-group |
Der Name der zu verwendenden Verbrauchergruppe. |
event-hub-initial-offset |
Gibt an, wo der Empfang von Meldungen beginnen soll, wenn der Offset noch nicht im Checkpoint-Speicher gespeichert ist. |
event-hub-message-receive-timeout |
Die Zeit, die dieser Verbraucher warten sollte, um die Batchgröße zu empfangen, bevor er den Aufruf zurückgibt. |
event-hub-name |
Der Name des Event Hubs von dem die Meldungen bezogen werden. |
event-hub-namespace |
Der Namespace, dem die Azure Event Hubs zugewiesen sind. Dies ist in der Regel gleich <Event Hub Names>-ns. |
event-hub-prefetch-count |
|
event-hub-shared-access-policy-name |
Der Name der gemeinsamen Zugriffsrichtlinie. Diese Richtlinie muss über Abhörberechtigung (Listen claims) verfügen. |
event-hub-shared-access-policy-primary-key |
Der Schlüssel der Richtlinie für den gemeinsamen Zugriff. Es kann entweder der Primär- oder der Sekundärschlüssel verwendet werden. |
proxy-configuration-service |
Gibt den Proxy-Konfigurations-Controller Service an für die Weiterleitung von Netzwerkanforderungen festl. |
record-reader |
Der Record Reader, der zum Lesen empfangener Meldungen verwendet wird. Der Name des Event Hub kann von der Expression Language „${eventhub.name}“ referenziert werden, um auf ein Schema zuzugreifen. |
record-writer |
Der Record Writer, der zum Serialisieren von Datensätzen in ein Ausgabe-FlowFile verwendet wird. Der Name des Event Hub kann von der Expression Language „${eventhub.name}“ referenziert werden, um auf ein Schema zuzugreifen. Wenn nicht angegeben, wird für jede Meldung ein FlowFile erstellt. |
storage-account-key |
Der Schlüssel des Azure Storage-Kontos zum Speichern des Status der Event Hub-Verbrauchergruppe. |
storage-account-name |
Name des Azure Storage-Kontos, das den Status der Event Hub-Verbrauchergruppe speichert. |
storage-container-name |
Name des Azure Storage-Containers, in dem der Status der Event Hub-Verbrauchergruppe gespeichert wird. Wenn nicht angegeben, wird der Name des Event Hubs verwendet. |
storage-sas-token |
Das Azure Storage-SAS-Token zum Speichern des Status der Event Hub-Verbrauchergruppe. Beginnt immer mit einem ?-Zeichen. |
use-managed-identity |
Wählen Sie aus, ob Sie die verwaltete Identität von Azure VM/VMSS verwenden möchten oder nicht |
Statusmanagement¶
Bereiche |
Beschreibung |
|---|---|
CLUSTER |
Der lokale Status wird verwendet, um die Client-ID zu speichern. Der Cluster-Status wird verwendet, um Partitionseigentümerschaft und Checkpoint-Informationen zu speichern, wenn der Komponentenzustand als Checkpointing-Strategie konfiguriert ist. |
LOCAL |
Der lokale Status wird verwendet, um die Client-ID zu speichern. Der Cluster-Status wird verwendet, um Partitionseigentümerschaft und Checkpoint-Informationen zu speichern, wenn der Komponentenzustand als Checkpointing-Strategie konfiguriert ist. |
Beziehungen¶
Name |
Beschreibung |
|---|---|
success |
Von Event Hub empfangene FlowFiles. |
Schreibt Attribute¶
Name |
Beschreibung |
|---|---|
eventhub.enqueued.timestamp |
Die Zeit (in Millisekunden seit Epoche, UTC), zu der die Meldung in die Warteschlange des Event Hub gestellt wurde |
eventhub.offset |
Der Offset in der Partition, in der die Meldung gespeichert wurde |
eventhub.sequence |
Die mit der Meldung verbundene Sequenznummer |
eventhub.name |
Der Name des Event Hub, von dem die Meldung abgerufen wurde |
eventhub.partition |
Der Name der Partition, von der die Meldung abgerufen wurde |
eventhub.property.* |
Die Anwendungseigenschaften dieser Meldung. IE: „application“ wäre „eventhub.property.application“ |