ConsumeGCPubSub 2025.5.31.15¶
Bundle¶
org.apache.nifi | nifi-gcp-nar
Beschreibung¶
Verarbeitet Meldungen aus dem konfigurierten Google Cloud PubSub-Abonnement. Die Eigenschaft „Batch Size“ gibt die maximale Anzahl der Meldungen an, die in einer einzigen Anfrage aus dem Abonnement abgerufen werden. Die Eigenschaft „Processing Strategy“ gibt an, ob jede Meldung ein eigenes FlowFile sein soll oder ob die Meldungen in einem einzigen FlowFile zusammengefasst werden sollen. Die Verwendung der „Demarcator“-Strategie bietet den besten Durchsatz, wenn das Format dies zulässt. Die Verwendung von „Record“ ermöglicht sowohl die Konvertierung des Datenformats als auch die Durchsetzung eines Schemas. Bei Verwendung der FlowFile-Strategie wird ein FlowFile pro Meldung erzeugt und die Attribute der Meldung werden als FlowFile-Attribute gespeichert.
Eingabeanforderung¶
FORBIDDEN
Unterstützt sensible dynamische Eigenschaften¶
false
Eigenschaften¶
Eigenschaft |
Beschreibung |
|---|---|
GCP-Anmeldeinformationen-Anbieterdienst |
Der Controller Service, der verwendet wird, um Anmeldeinformationen für Google Cloud Platform zu erhalten. |
Message Demarcator |
Da der PubSub-Client Meldungen in Batches empfängt, verfügt dieser Prozessor über eine Option zur Ausgabe von FlowFileswhich, die alle Meldungen in einem einzigen Batch enthalten. Mit dieser Eigenschaft können Sie eine Zeichenfolge (interpretiert als UTF-8) angeben, die zur Abgrenzung mehrerer Meldungen verwendet wird. Um Sonderzeichen wie z. B. einen Zeilenumbruch einzugeben, verwenden Sie je nach OS CTRL+Enter oder Shift+Enter. |
Output Strategy |
Das Format, das zur Ausgabe des Kafka-Datensatzes in einen FlowFile-Datensatz verwendet wird. |
Processing Strategy |
Strategie für die Verarbeitung von PubSub-Datensätzen und das Schreiben der serialisierten Ausgabe in FlowFiles |
Record Reader |
Der Record Reader, der für eingehende Meldungen verwendet werden soll |
Record Writer |
Der Record Writer, der für die Serialisierung der ausgehenden FlowFiles verwendet werden soll |
api-endpoint |
Überschreibt den gRPC-Endpunkt in Form von [host:port] |
gcp-project-id |
Google Cloud Projekt-ID |
gcp-pubsub-publish-batch-size |
Gibt die Anzahl der Meldungen an, die der Cloud-Dienst in einem Batch bündeln soll. Wenn nicht festgelegt und leer gelassen, wird nur eine Meldung in einem Batch verwendet. |
gcp-pubsub-subscription |
Name des Google Cloud Pub/Sub-Abonnements |
proxy-configuration-service |
Gibt den Proxy-Konfigurations-Controller Service an für die Weiterleitung von Netzwerkanforderungen festl. |
Beziehungen¶
Name |
Beschreibung |
|---|---|
success |
FlowFiles werden nach einer erfolgreichen Google Cloud Pub/Sub-Operation an diese Beziehung weitergeleitet. |
Schreibt Attribute¶
Name |
Beschreibung |
|---|---|
gcp.pubsub.ackId |
Bestätigungs-ID der empfangenen Google Cloud PubSub-Meldung |
gcp.pubsub.messageSize |
Serialisierte Größe der empfangenen Google Cloud PubSub-Meldung |
gcp.pubsub.attributesCount |
Anzahl der Attribute, die die empfangene PubSub-Meldung hat, falls vorhanden |
gcp.pubsub.publishTime |
Zeitstempelwert für den Zeitpunkt, an dem die Meldung veröffentlicht wurde |
gcp.pubsub.subscription |
Name des PubSub-Abonnements |
Dynamische Attribute |
Außer den aufgelisteten Attributen kann dieser Prozessor auch null oder mehr Attribute schreiben, wenn der ursprüngliche Google Cloud Publisher-Client beim Senden der Meldung Attribute hinzugefügt hat |