GrokReader¶

Description¶

Fournit un mécanisme permettant de lire des données textuelles non structurées, telles que des fichiers de connexion, et de structurer les données afin qu’elles puissent être traitées. Le service est configuré à l’aide de modèles Grok. Le service lit un flux de données et divise chaque message qu’il trouve en un enregistrement distinct, chacun contenant les champs configurés. Si une ligne de l’entrée ne correspond pas au modèle de message attendu, la ligne de texte est soit considérée comme faisant partie du message précédent, soit sautée, en fonction de la configuration, à l’exception des traces de pile. Une trace de pile qui se trouve à la fin d’un message de connexion est considérée comme faisant partie du message précédent mais est ajoutée au champ « stackTrace » de l’enregistrement. Si un enregistrement n’a pas de trace de pile, il aura une valeur NULL pour le champ stackTrace (en supposant que le schéma comprenne en fait un champ stackTrace de type String). Si le schéma comprend un champ « _raw » de type « String », le message brut sera inclus dans l’enregistrement.

Balises¶

grok, logfiles, logs, logstash, parse, pattern, reader, record, regex, text, unstructured

Propriétés¶

Dans la liste ci-dessous, les propriétés requises sont signalées par un astérisque (*). Les autres propriétés sont considérées comme facultatives. La table indique également les valeurs par défaut et précise si une propriété prend en charge le langage d’expression NiFi.

Nom d’affichage	Nom d’API	Valeur par défaut	Valeurs autorisées	Description
Expressions Grok *	Expression Grok			Spécifie le format d’une ligne de connexion au format Grok. Cela permet au Record Reader de comprendre comment analyser chaque ligne de connexion. La propriété prend en charge une ou plusieurs expressions Grok. Le lecteur tente d’analyser les lignes d’entrée selon l’ordre configuré des expressions.Si une ligne du fichier journal ne correspond à aucune expression, la ligne sera supposée appartenir au message de journal précédent. Si d’autres modèles Grok sont référencés par cette expression, ils doivent être fournis dans la propriété Grok Pattern File (Fichier de modèles Grok).
Les modèles Grok	Fichier de modèles Grok			Modèles Grok à utiliser pour connecter les logs. S’il n’est pas spécifié, un fichier de modèles par défaut sera utilisé. Si vous le précisez, tous les modèles spécifiés remplaceront les modèles par défaut. Consultez les détails supplémentaires du Controller Service pour obtenir la liste des modèles prédéfinis.
Comportement d’absence de correspondance *	no-match-behavior	append-to-previous-message	Ajouter au message précédent Sauter la ligne Ligne brute	Si une ligne de texte est rencontrée et qu’elle ne correspond pas à l’expression Grok donnée, et qu’elle ne fait pas partie d’un traçage de pile, cette propriété spécifie comment le texte doit être traité.
Stratégie d’accès au schéma *	schema-access-strategy	string-fields-from-grok-expression	Utiliser des champs de type chaîne à partir d’une expression Grok Utiliser la propriété Nom du schéma Utiliser la propriété Texte du schéma Lecteur de référence de schéma	Indique comment obtenir le schéma à utiliser pour interpréter les données.
Branche du schéma	schema-branch			Spécifie le nom de la branche à utiliser lors de la recherche du schéma dans la propriété Schema Registry. Si le registre de schémas choisi ne prend pas en charge la ramification, cette valeur sera ignorée.
Nom de schéma	schema-name	${schema.name}		Spécifie le nom du schéma à rechercher dans la propriété Schema Registry
Lecteur de référence de schéma *	schema-reference-reader			Mise en œuvre du service responsable de la lecture des attributs ou du contenu de FlowFile pour déterminer l’identifiant de référence du schéma
Registre des schémas	schema-registry			Spécifie le Controller Service à utiliser pour le registre des schémas
Texte du schéma	schema-text	${avro.schema}		Le texte d’un schéma formaté par Avro
Version du schéma	schema-version			Spécifie la version du schéma à rechercher dans le registre des schémas. Si elle n’est pas spécifiée, c’est la dernière version du schéma qui sera récupérée.

Gestion de l’État¶

Ce composant ne stocke pas d’état.

Restreint¶

Restrictions¶

Autorisation requise	Explication
reference remote resources	Les modèles et les expressions peuvent faire référence à des ressources sur HTTP

Considérations relatives aux ressources du système¶

Ce composant ne précise pas les ressources du système à prendre en compte.