ConsumeKinesisStream 2025.10.2.19¶
Pacote¶
org.apache.nifi | nifi-aws-nar
Descrição¶
Reads data from the specified AWS Kinesis stream and outputs a FlowFile for every processed Record (raw) or a FlowFile for a batch of processed records if a Record Reader and Record Writer are configured. At-least-once delivery of all Kinesis Records within the Stream while the processor is running. AWS Kinesis Client Library can take several seconds to initialise before starting to fetch data. Uses DynamoDB for check pointing and CloudWatch (optional) for metrics. Ensure that the credentials provided have access to DynamoDB and CloudWatch (optional) along with Kinesis.
Requisito de entrada¶
FORBIDDEN
Oferece suporte a propriedades dinâmicas confidenciais¶
falso
Propriedades¶
Propriedade |
Descrição |
|---|---|
Serviço de provedor de credenciais AWS |
O Controller Service que é usado para obter o provedor de credenciais AWS |
Nome do fluxo do Amazon Kinesis |
O nome do fluxo Kinesis |
Nome do aplicativo |
O nome do aplicativo do leitor de fluxo Kinesis. |
Intervalo do ponto de verificação |
Intervalo entre os pontos de verificação do Kinesis |
Tempo limite de comunicação |
|
Substituição do DynamoDB |
Substituição do DynamoDB para usar implementações não relacionadas ao AWS |
URL de substituição do ponto de extremidade |
URL do ponto de extremidade a ser usado em vez do padrão do AWS, incluindo esquema, host, porta e caminho. As bibliotecas AWS selecionam um URL de ponto de extremidade com base na região AWS, mas essa propriedade substitui o URL do ponto de extremidade selecionado, permitindo o uso com outros pontos de extremidade compatíveis com S3. |
Tempo limite de failover |
Tempo limite de failover da biblioteca do cliente Kinesis |
Tratamento do FlowFile em caso de diferenças no esquema |
A estratégia usada quando os registros em um fluxo do Kinesis mudam o esquema para um único lote. |
Tempo limite de desligamento controlado |
Tempo limite de desligamento controlado da biblioteca do cliente Kinesis |
Posição inicial do fluxo |
Posição inicial para ler os fluxos do Kinesis. |
Estratégia de saída |
O formato usado para gerar o registro Kinesis em um registro FlowFile. |
Record Reader |
O Record Reader a ser usado para ler as mensagens recebidas. O nome do fluxo Kinesis pode ser referenciado pela linguagem de expressão “${kinesis.name}” para acessar um esquema. Se o Record Reader/Writer não for especificado, cada registro Kinesis criará um FlowFile. |
Record Writer |
O Record Writer a ser usado para serializar registros em um FlowFile de saída. O nome do fluxo Kinesis pode ser referenciado pela linguagem de expressão “${kinesis.name}” para acessar um esquema. Se o Record Reader/Writer não for especificado, cada registro Kinesis criará um FlowFile. |
Região |
|
Relatar métricas ao CloudWatch |
Se você deseja relatar as métricas de uso do Kinesis ao CloudWatch. |
Contagem de tentativas |
Número de vezes para tentar novamente uma operação do Kinesis (registro de processo, ponto de verificação, desligamento) |
Espera de nova tentativa |
Intervalo entre novas tentativas de operação do Kinesis (registro de processo, ponto de verificação, desligamento) |
Carimbo de data/hora da posição do fluxo |
Posição do carimbo de data/hora no fluxo a partir do qual se inicia a leitura dos registros Kinesis. Necessário se a posição inicial para ler os fluxos Kinesis for AT_TIMESTAMP. Usa o formato de carimbo de data/hora para analisar o valor em uma data. |
Formato de carimbo de data/hora |
Formato a ser usado para analisar o carimbo de data/hora da posição de fluxo em uma data e converter o carimbo de data/hora de chegada aproximada do registro Kinesis em um atributo FlowFile. |
proxy-configuration-service |
Especifica o serviço de Controller Service de configuração de proxy para a realização de proxy de solicitações de rede. |
Relações¶
Nome |
Descrição |
|---|---|
success |
FlowFiles são encaminhados para a relação success |
Grava atributos¶
Nome |
Descrição |
|---|---|
aws.kinesis.partition.key |
Chave de partição do (último) registro Kinesis lido do fragmento |
aws.kinesis.shard.id |
ID de fragmento a partir do qual o registro Kinesis foi lido |
aws.kinesis.sequence.number |
O identificador exclusivo do (último) registro Kinesis em seu fragmento |
aws.kinesis.approximate.arrival.timestamp |
Carimbo de data/hora aproximado da chegada do (último) registro Kinesis lido do fluxo |
mime.type |
Define o atributo mime.type para o tipo MIME especificado pelo Record Writer (se configurado) |
record.count |
Número de registros gravados nos FlowFiles pelo Record Writer (se configurado) |
record.error.message |
Esse atributo fornece, em caso de falha, a mensagem de erro encontrada pelo Record Reader ou Record Writer (se configurado) |