ConsumeAzureEventHub 2025.10.2.19¶
Pacote¶
org.apache.nifi | nifi-azure-nar
Descrição¶
Recebe mensagens dos Hubs de Eventos do Microsoft Azure com criação de pontos de verificação para garantir o processamento consistente de eventos. O rastreamento de ponto de verificação evita o consumo de uma mensagem várias vezes e permite a retomada confiável do processamento em caso de falhas intermitentes na rede. O rastreamento de ponto de verificação requer armazenamento externo e fornece a abordagem preferencial para consumir mensagens dos Hubs de Eventos do Azure. No ambiente em cluster, as instâncias do processador ConsumeAzureEventHub formam um grupo de consumidores e as mensagens são distribuídas entre os nós do cluster (cada mensagem é processada em apenas um nó do cluster).
Requisito de entrada¶
FORBIDDEN
Oferece suporte a propriedades dinâmicas confidenciais¶
falso
Propriedades¶
Propriedade |
Descrição |
|---|---|
Tamanho do lote |
O número de mensagens a serem processadas em uma sessão NiFi. Esse parâmetro afeta a taxa de transferência e consistência. O NiFi confirma sua sessão e os pontos de verificação dos hubs de eventos após processar esse número de mensagens. Se a sessão NiFi for confirmada, mas não conseguir criar um ponto de verificação dos hubs de eventos, é possível que as mesmas mensagens sejam recebidas novamente. Quanto maior o número, maior a taxa de transferência, mas possivelmente menos consistente. |
Estratégia de ponto de verificação |
Especifica a estratégia a ser usada para armazenar e recuperar a propriedade da partição e as informações de ponto de verificação para cada partição. |
Grupo de consumidores |
O nome do grupo de consumidores a ser usado. |
Nome do hub de eventos |
O nome do hub de eventos do qual as mensagens serão extraídas. |
Namespace do hub de eventos |
O namespace ao qual os Hubs de Eventos do Azure estão atribuídos. Isso geralmente é igual a <Nomes do hub de eventos>-ns. |
Deslocamento inicial |
Especifique onde começar a receber mensagens se o deslocamento ainda não estiver armazenado no repositório de pontos de verificação. |
Tempo limite de recebimento da mensagem |
A quantidade de tempo que esse consumidor deve esperar para receber o tamanho do lote antes de retornar. |
Contagem de pré-busca |
|
Record Reader |
O Record Reader a ser usado para ler as mensagens recebidas. O nome do hub de eventos pode ser referenciado pela linguagem de expressão “${eventhub.name}” para acessar um esquema. |
Record Writer |
O Record Writer a ser usado para serializar registros em um FlowFile de saída. O nome do hub de eventos pode ser referenciado pela linguagem de expressão “${eventhub.name}” para acessar um esquema. Se não for especificado, cada mensagem criará um FlowFile. |
Ponto de extremidade do barramento de serviço |
Para oferecer suporte a namespaces que não estejam no domínio padrão do windows.net. |
Chave da política de acesso compartilhado |
A chave da política de acesso compartilhado. A chave primária ou secundária pode ser usada. |
Nome da política de acesso compartilhado |
O nome da política de acesso compartilhada. Essa política deve ter permissões de escuta. |
Chave da conta de armazenamento |
A chave da conta do Armazenamento do Azure para armazenar o estado do grupo de consumidores do hub de eventos. |
Nome da conta de armazenamento |
Nome da conta do Armazenamento do Azure para armazenar o estado do grupo de consumidores do hub de eventos. |
Nome do contêiner de armazenamento |
Nome do contêiner do Armazenamento do Azure para armazenar o estado do grupo de consumidores do hub de eventos. Se não for especificado, será usado o nome do hub de eventos. |
Token SAS de armazenamento |
O token SAS do Armazenamento do Azure para armazenar o estado do grupo de consumidores do hub de eventos. Sempre começa com um caractere “?”. |
Tipo de transporte |
Tipo de transporte do protocolo avançado de enfileiramento de mensagens avançado para comunicação com os Hubs de Eventos do Azure |
Usar identidade gerenciada pelo Azure |
Escolha se deseja ou não usar a identidade gerenciada do Azure VM/VMSS |
proxy-configuration-service |
Especifica o serviço de Controller Service de configuração de proxy para a realização de proxy de solicitações de rede. |
Gerenciamento do estado¶
Escopos |
Descrição |
|---|---|
LOCAL |
O estado local é usado para armazenar o ID do cliente. O estado do cluster é usado para armazenar a propriedade da partição e as informações do ponto de verificação quando o estado do componente é configurado como a estratégia de criação de pontos de verificação. |
CLUSTER |
O estado local é usado para armazenar o ID do cliente. O estado do cluster é usado para armazenar a propriedade da partição e as informações do ponto de verificação quando o estado do componente é configurado como a estratégia de criação de pontos de verificação. |
Relações¶
Nome |
Descrição |
|---|---|
success |
FlowFiles recebidos do hub de eventos. |
Grava atributos¶
Nome |
Descrição |
|---|---|
eventhub.enqueued.timestamp |
A hora (em milissegundos desde a época, UTC) em que a mensagem foi enfileirada no hub de eventos |
eventhub.offset |
O deslocamento na partição em que a mensagem foi armazenada |
eventhub.sequence |
O número de sequência associado à mensagem |
eventhub.name |
O nome do hub de eventos do qual a mensagem foi extraída |
eventhub.partition |
O nome da partição da qual a mensagem foi extraída |
eventhub.property.* |
As propriedades do aplicativo dessa mensagem. IE: “application” seria “eventhub.property.application” |