ConsumeAzureEventHub 2025.5.31.15¶
Pacote¶
org.apache.nifi | nifi-azure-nar
Descrição¶
Recebe mensagens dos Hubs de Eventos do Microsoft Azure com criação de pontos de verificação para garantir o processamento consistente de eventos. O rastreamento de ponto de verificação evita o consumo de uma mensagem várias vezes e permite a retomada confiável do processamento em caso de falhas intermitentes na rede. O rastreamento de ponto de verificação requer armazenamento externo e fornece a abordagem preferencial para consumir mensagens dos Hubs de Eventos do Azure. No ambiente em cluster, as instâncias do processador ConsumeAzureEventHub formam um grupo de consumidores e as mensagens são distribuídas entre os nós do cluster (cada mensagem é processada em apenas um nó do cluster).
Requisito de entrada¶
FORBIDDEN
Oferece suporte a propriedades dinâmicas confidenciais¶
falso
Propriedades¶
Propriedade |
Descrição |
|---|---|
Ponto de extremidade do barramento de serviço |
Para oferecer suporte a namespaces que não estejam no domínio padrão do windows.net. |
Tipo de transporte |
Tipo de transporte do protocolo avançado de enfileiramento de mensagens avançado para comunicação com os Hubs de Eventos do Azure |
checkpoint-strategy |
Especifica a estratégia a ser usada para armazenar e recuperar a propriedade da partição e as informações de ponto de verificação para cada partição. |
event-hub-batch-size |
O número de mensagens a serem processadas em uma sessão NiFi. Esse parâmetro afeta a taxa de transferência e consistência. O NiFi confirma sua sessão e os pontos de verificação dos hubs de eventos após processar esse número de mensagens. Se a sessão NiFi for confirmada, mas não conseguir criar um ponto de verificação dos hubs de eventos, é possível que as mesmas mensagens sejam recebidas novamente. Quanto maior o número, maior a taxa de transferência, mas possivelmente menos consistente. |
event-hub-consumer-group |
O nome do grupo de consumidores a ser usado. |
event-hub-initial-offset |
Especifique onde começar a receber mensagens se o deslocamento ainda não estiver armazenado no repositório de pontos de verificação. |
event-hub-message-receive-timeout |
A quantidade de tempo que esse consumidor deve esperar para receber o tamanho do lote antes de retornar. |
event-hub-name |
O nome do hub de eventos do qual as mensagens serão extraídas. |
event-hub-namespace |
O namespace ao qual os Hubs de Eventos do Azure estão atribuídos. Isso geralmente é igual a <Nomes do hub de eventos>-ns. |
event-hub-prefetch-count |
|
event-hub-shared-access-policy-name |
O nome da política de acesso compartilhada. Essa política deve ter permissões de escuta. |
event-hub-shared-access-policy-primary-key |
A chave da política de acesso compartilhado. A chave primária ou secundária pode ser usada. |
proxy-configuration-service |
Especifica o serviço de Controller Service de configuração de proxy para a realização de proxy de solicitações de rede. |
record-reader |
O Record Reader a ser usado para ler as mensagens recebidas. O nome do hub de eventos pode ser referenciado pela linguagem de expressão “${eventhub.name}” para acessar um esquema. |
record-writer |
O Record Writer a ser usado para serializar registros em um FlowFile de saída. O nome do hub de eventos pode ser referenciado pela linguagem de expressão “${eventhub.name}” para acessar um esquema. Se não for especificado, cada mensagem criará um FlowFile. |
storage-account-key |
A chave da conta do Armazenamento do Azure para armazenar o estado do grupo de consumidores do hub de eventos. |
storage-account-name |
Nome da conta do Armazenamento do Azure para armazenar o estado do grupo de consumidores do hub de eventos. |
storage-container-name |
Nome do contêiner do Armazenamento do Azure para armazenar o estado do grupo de consumidores do hub de eventos. Se não for especificado, será usado o nome do hub de eventos. |
storage-sas-token |
O token SAS do Armazenamento do Azure para armazenar o estado do grupo de consumidores do hub de eventos. Sempre começa com um caractere “?”. |
use-managed-identity |
Escolha se deseja ou não usar a identidade gerenciada do Azure VM/VMSS |
Gerenciamento do estado¶
Escopos |
Descrição |
|---|---|
CLUSTER |
O estado local é usado para armazenar o ID do cliente. O estado do cluster é usado para armazenar a propriedade da partição e as informações do ponto de verificação quando o estado do componente é configurado como a estratégia de criação de pontos de verificação. |
LOCAL |
O estado local é usado para armazenar o ID do cliente. O estado do cluster é usado para armazenar a propriedade da partição e as informações do ponto de verificação quando o estado do componente é configurado como a estratégia de criação de pontos de verificação. |
Relações¶
Nome |
Descrição |
|---|---|
success |
FlowFiles recebidos do hub de eventos. |
Grava atributos¶
Nome |
Descrição |
|---|---|
eventhub.enqueued.timestamp |
A hora (em milissegundos desde a época, UTC) em que a mensagem foi enfileirada no hub de eventos |
eventhub.offset |
O deslocamento na partição em que a mensagem foi armazenada |
eventhub.sequence |
O número de sequência associado à mensagem |
eventhub.name |
O nome do hub de eventos do qual a mensagem foi extraída |
eventhub.partition |
O nome da partição da qual a mensagem foi extraída |
eventhub.property.* |
As propriedades do aplicativo dessa mensagem. IE: “application” seria “eventhub.property.application” |