ConsumeAzureEventHub 2025.5.31.15¶
번들¶
org.apache.nifi | nifi-azure-nar
설명¶
일관된 이벤트 처리를 보장하기 위해 체크포인팅을 통해 Microsoft Azure Event Hubs에서 메시지를 수신합니다. 체크포인트 추적은 메시지가 여러 번 소비되는 것을 방지하고 간헐적인 네트워크 장애 발생 시 안정적인 처리 재개를 가능하게 합니다. 체크포인트 추적에는 외부 저장소가 필요하며 Azure Event Hubs에서 메시지를 소비하는 데 선호되는 접근법을 제공합니다. 클러스터링 환경에서 ConsumeAzureEventHub 프로세서 인스턴스는 컨슈머 그룹을 형성하고 메시지는 클러스터 노드에 분산됩니다(각 메시지는 1개의 클러스터 노드에서만 처리됨).
입력 요구 사항¶
FORBIDDEN
민감한 동적 속성 지원¶
false
속성¶
속성 |
설명 |
|---|---|
서비스 버스 엔드포인트 |
기본 windows.net 도메인에 없는 네임스페이스를 지원합니다. |
전송 유형 |
Azure Event Hubs와의 통신을 위한 고급 메시지 큐 프로토콜 전송 유형 |
checkpoint-strategy |
각 파티션의 파티션 소유권 및 체크포인트 정보를 저장하고 검색할 때 사용할 전략을 지정합니다. |
event-hub-batch-size |
NiFi 세션 내에서 처리할 메시지 수입니다. 이 매개 변수는 처리량과 일관성에 영향을 줍니다. NiFi 는 이 수의 메시지를 처리한 후 세션 및 이벤트 허브 체크포인트를 커밋합니다. NiFi 세션이 커밋되었지만 이벤트 허브 체크포인트를 생성하지 못하면 동일한 메시지가 다시 수신될 수 있습니다. 숫자가 높을수록 처리량이 많지만 일관성이 떨어질 수 있습니다. |
event-hub-consumer-group |
사용할 컨슈머 그룹의 이름입니다. |
event-hub-initial-offset |
오프셋이 아직 체크포인트 저장소에 저장되어 있지 않은 경우 메시지 수신을 시작할 위치를 지정합니다. |
event-hub-message-receive-timeout |
이 컨슈머가 반환하기 전에 배치 크기를 받기까지 대기해야 하는 시간입니다. |
event-hub-name |
메시지를 가져올 이벤트 허브의 이름입니다. |
event-hub-namespace |
Azure Event Hubs가 할당되는 네임스페이스입니다. 이는 일반적으로 <이벤트 허브 이름>-ns와 동일합니다. |
event-hub-prefetch-count |
|
event-hub-shared-access-policy-name |
공유 액세스 정책의 이름입니다. 이 정책에는 Listen 클레임이 있어야 합니다. |
event-hub-shared-access-policy-primary-key |
공유 액세스 정책의 키입니다. 기본 키 또는 보조 키 중 하나를 사용할 수 있습니다. |
프록시 구성 서비스 |
네트워크 요청을 프록시할 프록시 구성 컨트롤러 서비스를 지정합니다. |
record-reader |
수신된 메시지를 읽는 데 사용할 Record Reader입니다. 이벤트 허브 이름은 식 언어 ‘${eventhub.name}’으로 참조하여 스키마에 액세스할 수 있습니다. |
record-writer |
레코드를 출력 FlowFile 로 직렬화할 때 사용할 Record Writer입니다. 이벤트 허브 이름은 식 언어 ‘${eventhub.name}’으로 참조하여 스키마에 액세스할 수 있습니다. 지정하지 않으면 각 메시지가 FlowFile 을 생성합니다. |
storage-account-key |
이벤트 허브 컨슈머 그룹 상태를 저장할 Azure Storage 계정 키입니다. |
storage-account-name |
이벤트 허브 컨슈머 그룹 상태를 저장할 Azure Storage 계정의 이름입니다. |
storage-container-name |
이벤트 허브 컨슈머 그룹 상태를 저장할 Azure Storage 컨테이너의 이름입니다. 지정하지 않으면 이벤트 허브 이름이 사용됩니다. |
storage-sas-token |
이벤트 허브 컨슈머 그룹 상태를 저장할 Azure Storage SAS 토큰입니다. 항상 ? 문자로 시작합니다. |
use-managed-identity |
Azure VM/VMSS 의 관리형 ID를 사용할지 여부를 선택합니다 |
상태 관리¶
범위 |
설명 |
|---|---|
CLUSTER |
로컬 상태는 클라이언트 ID를 저장하는 데 사용됩니다. 클러스터 상태는 구성 요소 상태가 체크포인트 전략으로 구성된 경우 파티션 소유권 및 체크포인트 정보를 저장하는 데 사용됩니다. |
LOCAL |
로컬 상태는 클라이언트 ID를 저장하는 데 사용됩니다. 클러스터 상태는 구성 요소 상태가 체크포인트 전략으로 구성된 경우 파티션 소유권 및 체크포인트 정보를 저장하는 데 사용됩니다. |
관계¶
이름 |
설명 |
|---|---|
성공 |
이벤트 허브에서 수신된 FlowFiles 입니다. |
Writes 특성¶
이름 |
설명 |
|---|---|
eventhub.enqueued.timestamp |
이벤트 허브에 메시지가 큐에 추가된 시간(epoch 이후 밀리초, UTC)입니다 |
eventhub.offset |
메시지가 저장된 파티션에 대한 오프셋입니다 |
eventhub.sequence |
메시지와 연결된 시퀀스 번호입니다 |
eventhub.name |
메시지를 가져온 이벤트 허브의 이름입니다 |
eventhub.partition |
메시지를 가져온 파티션의 이름입니다 |
eventhub.property.* |
이 메시지의 애플리케이션 속성입니다. IE: ‘applicatio’은 ‘eventhub.property.application’입니다 |