ConsumeAzureEventHub 2025.10.2.19

バンドル

org.apache.nifi | nifi-azure-nar

説明

Microsoft Azure Event Hubからのメッセージをチェックポイントで受信し、一貫したイベント処理を保証します。チェックポイント・トラッキングは、メッセージを何度も消費することを避け、断続的なネットワーク障害が発生した場合でも、信頼性の高い処理の再開を可能にします。チェックポイント・トラッキングは外部ストレージを必要とし、Azure Event Hubs からのメッセージを消費するための好ましいアプローチを提供します。クラスタ環境では、 ConsumeAzureEventHub プロセッサーインスタンスがコンシューマーグループを形成し、メッセージがクラスタノード間で分散されます(各メッセージは1つのクラスタノードのみで処理されます)。

タグ

Azure、クラウド、eventhub、イベント、マイクロソフト、ストリーミング、ストリーム

入力要件

FORBIDDEN

機密動的プロパティをサポート

false

プロパティ

プロパティ

説明

Batch Size

NiFi セッション内で処理するメッセージ数。このパラメーターはスループットと一貫性に影響します。NiFi はこの数のメッセージを処理した後、セッションとイベントハブのチェックポイントをコミットします。NiFi セッションがコミットされても、イベント・ハブのチェックポイントの作成に失敗した場合、同じメッセージを再び受信する可能性があります。数字が大きいほどスループットは高くなりますが、一貫性がなくなる可能性があります。

Checkpoint Strategy

各パーティションのパーティション所有権とチェックポイント情報の保存と取得に使用するストラテジーを指定します。

Consumer Group

使用するコンシューマーグループの名前。

Event Hub Name

メッセージをプルするイベント・ハブの名前。

Event Hub Namespace

Azure Event Hubs が割り当てられている名前空間。これは通常、<Event Hub Names>-nsと同じです。

Initial Offset

オフセットがまだチェックポイントストアに保存されていない場合、メッセージの受信を開始する場所を指定します。

Message Receive Timeout

このコンシューマーが戻る前にバッチサイズを受信するまでの待機時間。

Prefetch Count

Record Reader

受信したメッセージの読み取りに使用するRecord Reader。イベント・ハブ名は式言語 '${eventhub.name}' でリファレンスし、スキーマにアクセスすることができます。

Record Writer

レコードを FlowFile 出力にシリアライズするために使用するRecord Writer。イベント・ハブ名は式言語 '${eventhub.name}' でリファレンスし、スキーマにアクセスすることができます。指定しない場合、各メッセージは FlowFile を作成します。

サービス バス エンドポイント

デフォルトのwindows.netドメイン以外の名前空間をサポートするため。

Shared Access Policy Key

共有アクセスポリシーのキー。プライマリ・キーとセカンダリ・キーのどちらを使ってもかまいません。

Shared Access Policy Name

共有アクセスポリシーの名前。このポリシーは、保険金請求に耳を傾ける必要があります。

Storage Account Key

イベントハブコンシューマーグループの状態を保存する Azure ストレージアカウントキー。

Storage Account Name

イベントハブコンシューマーグループの状態を保存する Azure ストレージアカウントの名前。

Storage Container Name

イベントハブコンシューマーグループの状態を保存する Azure ストレージコンテナーの名前。指定がない場合は、イベントハブ名が使用されます。

Storage SAS Token

Event Hub コンシューマー グループの状態を保存する Azure ストレージ SAS トークン。常に「?」文字で始まります。

輸送タイプ

Azureイベントハブとの通信に使用される高度なメッセージキューイングプロトコルのトランスポートタイプ

Use Azure Managed Identity

Azure VM/VMSS の管理 ID を使用するかどうかを選択します。

proxy-configuration-service

ネットワークリクエストをプロキシするプロキシ構成Controller Serviceを指定します。

状態管理

スコープ

説明

LOCAL

ローカル状態は、クライアントIDを保存するために使用されます。クラスター状態は、コンポーネント状態がチェックポイント戦略として構成されている場合、パーティション所有権とチェックポイント情報を格納するために使用されます。

CLUSTER

ローカル状態は、クライアントIDを保存するために使用されます。クラスター状態は、コンポーネント状態がチェックポイント戦略として構成されている場合、パーティション所有権とチェックポイント情報を格納するために使用されます。

リレーションシップ

名前

説明

success

イベントハブから受信した FlowFiles。

属性の書き込み

名前

説明

eventhub.enqueued.timestamp

メッセージがイベントハブにエンキューされた時間(エポックからのミリ秒、 UTC)。

eventhub.offset

メッセージが格納されたパーティション内のオフセット

eventhub.sequence

メッセージに関連するシーケンス番号

eventhub.name

メッセージが取り出されたイベントハブの名前。

eventhub.partition

メッセージが取り出されたパーティション名

eventhub.property.*

このメッセージのアプリケーション・プロパティ。IE: 'アプリケーション'は'eventhub.property.application'となります。