GrokReader¶

Descrição¶

Fornece um mecanismo para ler dados de texto não estruturados, como arquivos de registro, e estruturar os dados para que possam ser processados. O serviço é configurado usando padrões Grok. O serviço lê um fluxo de dados e divide cada mensagem que encontra em um registro separado, cada um contendo os campos configurados. Se uma linha na entrada não corresponder ao padrão de mensagem esperado, a linha de texto será considerada parte da mensagem anterior ou será ignorada, dependendo da configuração, com exceção dos rastreamentos de pilha. Um rastreamento de pilha encontrado no final de uma mensagem de registro é considerado parte da mensagem anterior, mas é adicionado ao campo “stackTrace” do registro. Se um registro não tiver rastreamento de pilha, ele terá um valor NULL para o campo stackTrace (supondo que o esquema inclua, de fato, um campo stackTrace do tipo cadeia de caracteres). Supondo que o esquema inclua um campo “_raw” do tipo cadeia de caracteres, a mensagem bruta será incluída no registro.

Tags¶

grok, logfiles, logs, logstash, parse, pattern, reader, record, regex, text, unstructured

Propriedades¶

Na lista abaixo, as propriedades obrigatórias são mostradas com um asterisco (*). Outras propriedades são consideradas opcionais. A tabela também indica os valores padrão e se uma propriedade é compatível com linguagem de expressão NiFi.

Nome de exibição	Nome da API	Valor padrão	Valores permitidos	Descrição
Expressões Grok *	Expressão Grok			Especifica o formato de uma linha de registro no formato Grok. Isso permite que o Record Reader entenda como analisar cada linha de registro. A propriedade oferece suporte a uma ou mais expressões Grok. O leitor tenta analisar as linhas de entrada de acordo com a ordem configurada das expressões. Se uma linha no arquivo de registro não corresponder a nenhuma expressão, será considerado que a linha pertence à mensagem de registro anterior. Se outros padrões Grok forem referenciados por esta expressão, eles deverão ser fornecidos na propriedade Arquivo de padrões Grok.
Padrões Grok	Arquivo de padrão Grok			Padrões Grok a serem usados para analisar logs. Se não for especificado, será usado um arquivo padrão interno. Se especificado, todos os padrões especificados substituirão os padrões predefinidos. Consulte os Detalhes adicionais do Controller Service para obter uma lista de padrões predefinidos.
Comportamento sem correspondência *	no-match-behavior	append-to-previous-message	Anexar à mensagem anterior Pular linha Linha bruta	Se uma linha de texto for encontrada e não corresponder à expressão Grok fornecida nem fizer parte de um rastreamento de pilha, essa propriedade especificará como o texto deve ser processado.
Estratégia de acesso ao esquema *	schema-access-strategy	string-fields-from-grok-expression	Use campos de cadeia de caracteres de expressão Grok Usar a propriedade “Schema Name” Use a propriedade “Schema Text” Leitor de referência de esquema	Especifica como obter o esquema que deve ser usado para interpretar os dados.
Ramificação do esquema	schema-branch			Especifica o nome da ramificação a ser usada ao procurar o esquema na propriedade do registro de esquema. Se a propriedade do registro de esquema escolhida não for compatível com a ramificação, esse valor será ignorado.
Nome do esquema	schema-name	${schema.name}		Especifica o nome do esquema a ser pesquisado na propriedade do registro de esquema
Leitor de referência de esquema *	schema-reference-reader			Implementação do serviço responsável pela leitura dos atributos ou do conteúdo do FlowFile para determinar o identificador da referência de esquema
Registro de esquema	schema-registry			Especifica o Controller Service a ser usado para o registro de esquema
Texto do esquema	schema-text	${avro.schema}		O texto de um esquema formatado por Avro
Versão do esquema	schema-version			Especifica a versão do esquema a ser pesquisada no registro de esquema. Se não for especificada, será recuperada a versão mais recente do esquema.

Gerenciamento do estado¶

Esse componente não armazena o estado.

Restrito¶

Restrições¶

Permissão necessária	Explicação
recursos remotos de referência	Padrões e expressões podem fazer referência a recursos HTTP

Considerações sobre os recursos do sistema¶

Esse componente não especifica considerações sobre os recursos do sistema.