PutElasticsearchRecord 2025.5.31.15¶
Pacote¶
org.apache.nifi | nifi-elasticsearch-restapi-nar
Descrição¶
Um processador Elasticsearch PUT com reconhecimento de registros que usa as bibliotecas de cliente Elastic REST oficiais. Cada registro no FlowFile é convertido em um documento a ser enviado à Elasticsearch _bulk APi. Vários documentos podem ser agrupados em cada solicitação enviada ao Elasticsearch. A operação em massa de cada documento pode ser configurada usando expressões de caminho de registro.
Requisito de entrada¶
REQUIRED
Oferece suporte a propriedades dinâmicas confidenciais¶
falso
Propriedades¶
Propriedade |
Descrição |
|---|---|
Comprimento máximo da cadeia de caracteres do campo JSON |
O comprimento máximo permitido de um valor de cadeia de caracteres ao analisar um documento ou atributo JSON. |
el-rest-client-service |
Um serviço de cliente do Elasticsearch a ser usado para executar consultas. |
el-rest-fetch-index |
O nome do índice a ser usado. |
el-rest-type |
O tipo desse documento (usado pelo Elasticsearch para indexação e pesquisa). |
put-es-not_found-is-error |
Se verdadeiro, os registros associados ao documento Elasticsearch “not_found” serão encaminhados para a relação “successful”; caso contrário, serão encaminhados para a relação “errors”. Se Output Error Responses for “true”, as respostas “not_found” do Elasticsearch serão enviadas à relação error_responses. |
put-es-output-error-responses |
Se isso estiver ativado, as mensagens de resposta do Elasticsearch marcadas como “error” serão enviadas à relação “error_responses”, o que não afeta a saída dos FlowFiles para as relações “successful” ou “errors” |
put-es-record-at-timestamp |
O valor a ser usado como o campo @timestamp (obrigatório para Elasticsearch Data Streams) |
put-es-record-at-timestamp-date-format |
Especifica o formato a ser usado ao gravar os campos de data. Se não for especificado, será usado o formato padrão “yyyyy-MM-dd”. Se especificado, o valor deve corresponder ao Java Simple Date Format (por exemplo, MM/dd/yyyyy para um mês de dois dígitos, seguido por um dia de dois dígitos, seguido por um ano de quatro dígitos, todos separados pelo caractere “/”, como em 25/01/2017). |
put-es-record-at-timestamp-path |
Um RecordPath apontando para o(s) campo no(s) registro(s) com o @timestamp do documento. Se for deixado em branco, o @timestamp será determinado usando a propriedade @timestamp principal |
put-es-record-at-timestamp-time-format |
Especifica o formato a ser usado ao gravar os campos de tempo. Se não for especificado, será usado o formato padrão “HH:mm:ss”. Se especificado, o valor deve corresponder ao Java Simple Date Format (por exemplo, HH:mm:ss para uma hora de dois dígitos no formato de 24 horas, seguida por um minuto de dois dígitos, seguido por um segundo de dois dígitos, todos separados pelo caractere “:”, como em 18:04:15). |
put-es-record-at-timestamp-timestamp-format |
Especifica o formato a ser usado ao gravar campos de carimbo de data/hora. Se não for especificado, será usado o formato padrão “yyyyy-MM-dd HH:mm:ss”. Se especificado, o valor deve corresponder ao Java Simple Date Format (por exemplo, MM/dd/yyyy HH:mm:ss para um mês de dois dígitos, seguido por um dia de dois dígitos, seguido por um ano de quatro dígitos, todos separados pelo caractere “/”; e depois seguido por uma hora de dois dígitos no formato de 24 horas, seguido por um minuto de dois dígitos, seguido por um segundo de dois dígitos, todos separados pelo caractere “:”, como em 01/25/2017 18:04:15). |
put-es-record-batch-size |
O número de registros a serem enviados em um único lote. |
put-es-record-bulk-error-groups |
Os registros com erro gravados na relação “errors” serão agrupados por tipo de erro e o erro relacionado ao primeiro registro no FlowFile será adicionado ao FlowFile como “elasticsearch.bulk.error”. Se “Tratar ‘Not Found’ como Success” for “false”, os registros associados às respostas de documentos do Elasticsearch “not_found” também serão enviados para a relação “errors”. |
put-es-record-dynamic-templates-path |
Um RecordPath apontando para um campo no(s) registro(s) que contém os dynamic_templates do documento. O campo deve ser compatível com o tipo Map (por exemplo, um Map ou Record) ou uma cadeia de caracteres analisável em um objeto JSON. Requer Elasticsearch 7 ou posterior |
put-es-record-error-writer |
A resposta do Elasticsearch será examinada em busca de registros com falha e os registros com falha serão gravados em um conjunto de registros com esse serviço Record Writer e enviados à relação “errors”. Os registros bem-sucedidos serão gravados em um conjunto de registros com esse serviço Record Writer e enviados para a relação “bem-sucedido”. |
put-es-record-id-path |
Uma expressão de caminho de registro para recuperar o campo ID para uso com o Elasticsearch. Se for deixado em branco, o ID será gerado automaticamente pelo Elasticsearch. |
put-es-record-index-op |
O tipo da operação usada para indexar (criar, excluir, indexar, atualizar, inserir) |
put-es-record-index-op-path |
Uma expressão de caminho de registro para recuperar o campo Operação de índice para uso com o Elasticsearch. Se for deixado em branco, a Operação de índice será determinada usando a propriedade principal Operação de índice. |
put-es-record-index-record-path |
Uma expressão de caminho de registro para recuperar o campo de índice para uso com o Elasticsearch. Se for deixado em branco, o índice será determinado usando a propriedade de índice principal. |
put-es-record-log-error-responses |
Se essa opção estiver ativada, os erros serão registrados nos logs do NiFi no nível de log de erros. Caso contrário, eles só serão registrados se o registro de depuração estiver ativado no NiFi como um todo. O objetivo dessa opção é fornecer ao usuário a capacidade de depurar operações com falha sem ter que ativar o registro de depuração. |
put-es-record-reader |
O Record Reader a ser usado para ler os registros dos FlowFiles de entrada. |
put-es-record-retain-at-timestamp-field |
Se o campo existente usado como @timestamp deve ser mantido no caminho do registro. |
put-es-record-retain-id-field |
Se o campo existente usado como o caminho de registro de ID deve ser mantido. |
put-es-record-script-path |
Um RecordPath apontando para um campo no(s) registro(s) que contém o script para a atualização/upsert do documento. Aplica-se apenas a operações de atualização/upsert. O campo deve ser compatível com o tipo Map (por exemplo, um Map ou um Record) ou uma cadeia de caracteres analisável em um objeto JSON |
put-es-record-scripted-upsert-path |
Um RecordPath apontando para um campo no(s) registro(s) com o sinalizador booliano scripted_upsert. Se o sinalizador scripted_upsert deve ser adicionado à operação upsert. Força o Elasticsearch a executar o script independentemente de o documento existir ou não; o padrão é falso. Se o documento upsert fornecido (do conteúdo FlowFile) estiver vazio, certifique-se de definir Suppress Null/Empty Values (Suprimir valores nulos/vazios) do serviço de controlador do serviço cliente como Never Suppress (Nunca suprimir) ou nenhum documento “upsert” será incluído na solicitação ao Elasticsearch e a operação não criará um novo documento para o script executar, resultando em um erro “not_found” (não encontrado) |
put-es-record-type-record-path |
Uma expressão de caminho de registro para recuperar o campo de tipo para uso com o Elasticsearch. Se for deixado em branco, o tipo será determinado usando a propriedade de tipo principal. |
Relações¶
Nome |
Descrição |
|---|---|
errors |
O(s) registro(s)/FlowFile(s) correspondente(s) ao(s) documento(s) Elasticsearch que resultou(am) em um “erro” (no Elasticsearch) será(ão) encaminhado(s) para cá. |
failure |
Todos os FlowFiles que falham por motivos não relacionados à disponibilidade do servidor vão para essa relação. |
original |
Todos os FlowFiles enviados ao Elasticsearch sem falhas de solicitação vão para essa relação. |
retry |
Todos os FlowFiles que falham devido à disponibilidade do servidor/cluster vão para essa relação. |
successful |
O(s) registro(s)/FlowFile(s) correspondente(s) ao(s) documento(s) Elasticsearch que não resultou(ram) em “erro” (no Elasticsearch) será(ão) encaminhado(s) para cá. |
Grava atributos¶
Nome |
Descrição |
|---|---|
elasticsearch.put.error |
A mensagem de erro se houver um problema na análise dos registros de FlowFile, no envio dos documentos analisados ao Elasticsearch ou na análise da resposta do Elasticsearch. |
elasticsearch.put.error.count |
O número de registros que geraram erros na _bulk API do Elasticsearch. |
elasticsearch.put.success.count |
O número de registros processados com êxito pela _bulk API do Elasticsearch. |
elasticsearch.bulk.error |
A resposta _bulk se houver um erro durante o processamento do registro no Elasticsearch. |