ConsumeKinesisStream 2025.5.31.15¶
Pacote¶
org.apache.nifi | nifi-aws-nar
Descrição¶
Lê dados do fluxo especificado do AWS Kinesis e gera um FlowFile para cada registro processado (bruto) ou um FlowFile para um lote de registros processados se um Record Reader e um Record Writer estiverem configurados. Entrega pelo menos uma vez de todos os registros Kinesis dentro do fluxo enquanto o processador está em execução. A biblioteca cliente AWS Kinesis pode levar vários segundos para ser inicializada antes de começar a buscar dados. Usa DynamoDB para apontar a verificação e CloudWatch (opcional) para métricas. Certifique-se de que as credenciais fornecidas tenham acesso a DynamoDB e CloudWatch (opcional) juntamente com o Kinesis.
Requisito de entrada¶
FORBIDDEN
Oferece suporte a propriedades dinâmicas confidenciais¶
falso
Propriedades¶
Propriedade |
Descrição |
|---|---|
Serviço de provedor de credenciais AWS |
O Controller Service que é usado para obter o provedor de credenciais AWS |
Nome do fluxo do Amazon Kinesis |
O nome do fluxo Kinesis |
Nome do aplicativo |
O nome do aplicativo do leitor de fluxo Kinesis. |
Intervalo do ponto de verificação |
Intervalo entre os pontos de verificação do Kinesis |
Tempo limite de comunicação |
|
Substituição do DynamoDB |
Substituição do DynamoDB para usar implementações não relacionadas ao AWS |
URL de substituição do ponto de extremidade |
URL do ponto de extremidade a ser usado em vez do padrão do AWS, incluindo esquema, host, porta e caminho. As bibliotecas AWS selecionam um URL de ponto de extremidade com base na região AWS, mas essa propriedade substitui o URL do ponto de extremidade selecionado, permitindo o uso com outros pontos de extremidade compatíveis com S3. |
Tempo limite de failover |
Tempo limite de failover da biblioteca do cliente Kinesis |
Tempo limite de desligamento controlado |
Tempo limite de desligamento controlado da biblioteca do cliente Kinesis |
Posição inicial do fluxo |
Posição inicial para ler os fluxos do Kinesis. |
Estratégia de saída |
O formato usado para gerar o registro Kinesis em um registro FlowFile. |
Record Reader |
O Record Reader a ser usado para ler as mensagens recebidas. O nome do fluxo Kinesis pode ser referenciado pela linguagem de expressão “${kinesis.name}” para acessar um esquema. Se o Record Reader/Writer não for especificado, cada registro Kinesis criará um FlowFile. |
Record Writer |
O Record Writer a ser usado para serializar registros em um FlowFile de saída. O nome do fluxo Kinesis pode ser referenciado pela linguagem de expressão “${kinesis.name}” para acessar um esquema. Se o Record Reader/Writer não for especificado, cada registro Kinesis criará um FlowFile. |
Região |
|
Relatar métricas ao CloudWatch |
Se você deseja relatar as métricas de uso do Kinesis ao CloudWatch. |
Contagem de tentativas |
Número de vezes para tentar novamente uma operação do Kinesis (registro de processo, ponto de verificação, desligamento) |
Espera de nova tentativa |
Intervalo entre novas tentativas de operação do Kinesis (registro de processo, ponto de verificação, desligamento) |
Carimbo de data/hora da posição do fluxo |
Posição do carimbo de data/hora no fluxo a partir do qual se inicia a leitura dos registros Kinesis. Necessário se a posição inicial para ler os fluxos Kinesis for AT_TIMESTAMP. Usa o formato de carimbo de data/hora para analisar o valor em uma data. |
Formato de carimbo de data/hora |
Formato a ser usado para analisar o carimbo de data/hora da posição de fluxo em uma data e converter o carimbo de data/hora de chegada aproximada do registro Kinesis em um atributo FlowFile. |
proxy-configuration-service |
Especifica o serviço de Controller Service de configuração de proxy para a realização de proxy de solicitações de rede. |
Relações¶
Nome |
Descrição |
|---|---|
success |
FlowFiles são encaminhados para a relação success |
Grava atributos¶
Nome |
Descrição |
|---|---|
aws.kinesis.partition.key |
Chave de partição do (último) registro Kinesis lido do fragmento |
aws.kinesis.shard.id |
ID de fragmento a partir do qual o registro Kinesis foi lido |
aws.kinesis.sequence.number |
O identificador exclusivo do (último) registro Kinesis em seu fragmento |
aws.kinesis.approximate.arrival.timestamp |
Carimbo de data/hora aproximado da chegada do (último) registro Kinesis lido do fluxo |
mime.type |
Define o atributo mime.type para o tipo MIME especificado pelo Record Writer (se configurado) |
record.count |
Número de registros gravados nos FlowFiles pelo Record Writer (se configurado) |
record.error.message |
Esse atributo fornece, em caso de falha, a mensagem de erro encontrada pelo Record Reader ou Record Writer (se configurado) |