ConsumeAzureEventHub 2025.10.2.19¶
Bundle¶
org.apache.nifi | nifi-azure-nar
Beschreibung¶
Empfängt Meldungen von Microsoft Azure Event Hubs mit Checkpoints, um eine konsistente Ereignisverarbeitung sicherzustellen. Die Checkpoint-Verfolgung verhindert, dass eine Meldung mehrfach empfangen wird, und ermöglicht die zuverlässige Wiederaufnahme der Verarbeitung bei zeitweiligen Netzwerkausfällen. Die Checkpoint-Verfolgung erfordert externen Speicher und ist der bevorzugte Ansatz, um Meldungen von Azure Event Hubs zu verarbeiten. In einer Clustering-Umgebung bilden die ConsumeAzureEventHub-Prozessorinstanzen eine Verbrauchergruppe, und die Meldungen werden auf die Clusterknoten verteilt (jede Meldung wird nur auf einem Clusterknoten verarbeitet).
Eingabeanforderung¶
FORBIDDEN
Unterstützt sensible dynamische Eigenschaften¶
false
Eigenschaften¶
Eigenschaft |
Beschreibung |
|---|---|
Batch Size |
Die Anzahl der zu verarbeitenden Meldungen innerhalb einer NiFi-Sitzung. Dieser Parameter beeinflusst den Durchsatz und die Konsistenz. NiFi bestätigt die Sitzungs- und Event Hubs-Checkpoints nach der Verarbeitung dieser Anzahl von Meldungen. Wenn die NiFi-Sitzung bestätigt wird, aber kein Event Hubs-Checkpoint erstellt werden kann, ist es möglich, dass dieselben Meldungen erneut empfangen werden. Je höher die Zahl, desto höher der Durchsatz, aber möglicherweise weniger konsistent. |
Checkpoint Strategy |
Legt fest, welche Strategie zum Speichern und Abrufen von Partitionseigentümerschaft und Checkpoint-Informationen für jede Partition verwendet werden soll. |
Consumer Group |
Der Name der zu verwendenden Verbrauchergruppe. |
Event Hub Name |
Der Name des Event Hubs von dem die Meldungen bezogen werden. |
Event Hub Namespace |
Der Namespace, dem die Azure Event Hubs zugewiesen sind. Dies ist in der Regel gleich <Event Hub Names>-ns. |
Initial Offset |
Gibt an, wo der Empfang von Meldungen beginnen soll, wenn der Offset noch nicht im Checkpoint-Speicher gespeichert ist. |
Message Receive Timeout |
Die Zeit, die dieser Verbraucher warten sollte, um die Batchgröße zu empfangen, bevor er den Aufruf zurückgibt. |
Prefetch Count |
|
Record Reader |
Der Record Reader, der zum Lesen empfangener Meldungen verwendet wird. Der Name des Event Hub kann von der Expression Language „${eventhub.name}“ referenziert werden, um auf ein Schema zuzugreifen. |
Record Writer |
Der Record Writer, der zum Serialisieren von Datensätzen in ein Ausgabe-FlowFile verwendet wird. Der Name des Event Hub kann von der Expression Language „${eventhub.name}“ referenziert werden, um auf ein Schema zuzugreifen. Wenn nicht angegeben, wird für jede Meldung ein FlowFile erstellt. |
Service-Bus-Endpunkt |
Zur Unterstützung von Namespaces, die nicht in der Standarddomäne windows.net enthalten sind. |
Shared Access Policy Key |
Der Schlüssel der Richtlinie für den gemeinsamen Zugriff. Es kann entweder der Primär- oder der Sekundärschlüssel verwendet werden. |
Shared Access Policy Name |
Der Name der gemeinsamen Zugriffsrichtlinie. Diese Richtlinie muss über Abhörberechtigung (Listen claims) verfügen. |
Storage Account Key |
Der Schlüssel des Azure Storage-Kontos zum Speichern des Status der Event Hub-Verbrauchergruppe. |
Storage Account Name |
Name des Azure Storage-Kontos, das den Status der Event Hub-Verbrauchergruppe speichert. |
Storage Container Name |
Name des Azure Storage-Containers, in dem der Status der Event Hub-Verbrauchergruppe gespeichert wird. Wenn nicht angegeben, wird der Name des Event Hubs verwendet. |
Storage SAS Token |
Das Azure Storage-SAS-Token zum Speichern des Status der Event Hub-Verbrauchergruppe. Beginnt immer mit einem ?-Zeichen. |
Transport Type |
Transporttyp Advanced Message Queuing Protocol für die Kommunikation mit Azure Event Hubs |
Von Azure verwaltete Identität verwenden |
Wählen Sie aus, ob Sie die verwaltete Identität von Azure VM/VMSS verwenden möchten oder nicht |
proxy-configuration-service |
Gibt den Proxy-Konfigurations-Controller Service an für die Weiterleitung von Netzwerkanforderungen festl. |
Statusmanagement¶
Bereiche |
Beschreibung |
|---|---|
LOCAL |
Der lokale Status wird verwendet, um die Client-ID zu speichern. Der Cluster-Status wird verwendet, um Partitionseigentümerschaft und Checkpoint-Informationen zu speichern, wenn der Komponentenzustand als Checkpointing-Strategie konfiguriert ist. |
CLUSTER |
Der lokale Status wird verwendet, um die Client-ID zu speichern. Der Cluster-Status wird verwendet, um Partitionseigentümerschaft und Checkpoint-Informationen zu speichern, wenn der Komponentenzustand als Checkpointing-Strategie konfiguriert ist. |
Beziehungen¶
Name |
Beschreibung |
|---|---|
success |
Von Event Hub empfangene FlowFiles. |
Schreibt Attribute¶
Name |
Beschreibung |
|---|---|
eventhub.enqueued.timestamp |
Die Zeit (in Millisekunden seit Epoche, UTC), zu der die Meldung in die Warteschlange des Event Hub gestellt wurde |
eventhub.offset |
Der Offset in der Partition, in der die Meldung gespeichert wurde |
eventhub.sequence |
Die mit der Meldung verbundene Sequenznummer |
eventhub.name |
Der Name des Event Hub, von dem die Meldung abgerufen wurde |
eventhub.partition |
Der Name der Partition, von der die Meldung abgerufen wurde |
eventhub.property.* |
Die Anwendungseigenschaften dieser Meldung. IE: „application“ wäre „eventhub.property.application“ |