PutElasticsearchRecord 2025.10.9.21

Bundle

org.apache.nifi | nifi-elasticsearch-restapi-nar

Description

Un processeur de mise en place d’Elasticsearch tenant compte des enregistrements et utilisant les bibliothèques client officielles d’Elastic REST. Chaque enregistrement contenu dans le FlowFile est converti en une documentation à envoyer à l’API _bulk Elasticsearch APi. Plusieurs documents peuvent être mis en lot dans chaque requête envoyée à Elasticsearch. L’opération en bloc de chaque document peut être configurée à l’aide d’expressions de chemin d’enregistrement.

Balises

elasticsearch, elasticsearch7, elasticsearch8, elasticsearch9, index, json, put, record

Exigences en matière d’entrées

REQUIRED

Prend en charge les propriétés dynamiques sensibles

false

Propriétés

Propriété

Description

Batch Size

Nombre d’enregistrements à envoyer en un seul lot.

Client Service

Un service client Elasticsearch à utiliser pour l’exécution des requêtes.

Format de date

Spécifie le format à utiliser lors de la rédaction des champs Date. S’il n’est pas spécifié, le format par défaut “aaaa-MM-dd” est utilisé. Si elle est spécifiée, la valeur doit correspondre au format de date simple de Java (par exemple, MM/jj/aaaa pour un mois à deux chiffres, suivi d’un jour à deux chiffres, suivi d’une année à quatre chiffres, tous séparés par des caractères “/”, comme dans 01/25/2017).

Dynamic Templates Record Path

Un RecordPath pointant vers un champ du ou des enregistrements qui contient les dynamic_templates pour le document. Le champ doit être compatible avec le type de carte (par exemple, une carte ou un enregistrement) ou une chaîne pouvant être analysée en un objet JSON. Exige Elasticsearch 7+

Regrouper les résultats par type d’erreur de lot

The errored records written to the « errors » relationship will be grouped by error type and the error related to the first record within the FlowFile added to the FlowFile as « elasticsearch.bulk.error ». If « Treat Not Found as Success » is « false » then records associated with « not_found » Elasticsearch document responses will also be send to the « errors » relationship.

ID Record Path

Une expression de chemin d’enregistrement pour récupérer le champ ID à utiliser avec Elasticsearch. S’il est laissé vide, l’ID sera automatiquement généré par Elasticsearch.

Index

Le nom de l’index à utiliser.

Opération d’index

Le type de l’opération utilisée pour l’index (création, suppression, index, mise à jour, insertion)

Chemin d’enregistrement de l’opération d’index

Une expression de chemin d’enregistrement pour récupérer le champ Opération d’index pour une utilisation avec Elasticsearch. Si elle est laissée vide, l’opération d’indexation sera déterminée à l’aide de la propriété principale d’opération d’indexation.

Chemin d’opération d’index

Une expression de chemin d’enregistrement pour récupérer le champ d’index pour une utilisation avec Elasticsearch. S’il n’est pas renseigné, l’index sera déterminé à l’aide de la propriété de l’index principal.

Log Error Responses

Si cette option est activée, les erreurs seront consignées dans les journaux NiFi au niveau “error”. Sinon, elles ne seront connectées que si la connexion de débogage est activée sur NiFi dans son ensemble. L’objectif de cette option est de donner à l’utilisateur la possibilité de déboguer les opérations qui ont échoué sans avoir à activer la connexion de débogage.

Max JSON Field String Length

Longueur maximale autorisée pour une valeur de chaîne lors de l’analyse d’un document ou d’un attribut JSON.

Output Error Responses

Si cette option est activée, les messages de réponse provenant d’Elasticsearch marqués comme « erreurs » seront envoyés vers la relation « error_responses ». Cela n’a pas d’incidence sur la sortie des fichiers de flux vers les relations « successful » ou « errors ».

Record Reader

Le Record Reader à utiliser pour lire les enregistrements entrants des fichiers de flux.

Result Record Writer

La réponse d’Elasticsearch sera examinée pour détecter les enregistrements défaillants et ces derniers seront écrits dans un ensemble d’enregistrements avec ce service Record Writer et envoyés dans la relation « errors ». Les enregistrements réussis seront écrits dans un ensemble d’enregistrements avec ce service de rédaction d’enregistrements et envoyés à la relation « réussi ».

Conserver ID (Chemin d’enregistrement)

Indique s’il faut conserver le champ existant utilisé comme chemin d’accès à l’enregistrement ID.

Retain Record Timestamp

Indique s’il faut conserver le champ existant utilisé comme chemin d’enregistrement pour le @timestamp.

Script Record Path

Un RecordPath pointant vers un champ du ou des enregistrements qui contient le script pour la mise à jour/upsert du document. Ne s’applique qu’aux opérations de mise à jour/suppression. Le champ doit être compatible avec le type de carte (par exemple, une carte ou un enregistrement) ou une chaîne pouvant être analysée en un objet JSON

Chemin d’upsert scripté des enregistrements

A RecordPath pointing to a field in the record(s) that contains the scripted_upsert boolean flag. Whether to add the scripted_upsert flag to the Upsert Operation. Forces Elasticsearch to execute the Script whether or not the document exists, defaults to false. If the Upsert Document provided (from FlowFile content) will be empty, but sure to set the Client Service controller service’s Suppress Null and Empty Values to Never Suppress or no « upsert » doc will be, included in the request to Elasticsearch and the operation will not create a new document for the script to execute against, resulting in a « not_found » error

Format de l’heure

Spécifie le format à utiliser lors de la rédaction des champs Heure. S’il n’est pas spécifié, le format par défaut “HH: mm:ss” est utilisé. Si elle est spécifiée, la valeur doit correspondre au format Java java.time.format. (par exemple, HH:mm:ss pour une heure à deux chiffres au format 24 heures, suivie d’une minute à deux chiffres, suivie d’une seconde à deux chiffres, le tout séparé par des caractères “:”, comme dans 18:04:15).

Timestamp Format

Spécifie le format à utiliser lors de l’écriture des champs horodatage. S’il n’est pas spécifié, le format par défaut “aaaa-MM-dd HH: mm:ss” est utilisé. Si elle est spécifiée, la valeur doit correspondre au format de date simple de Java (par exemple, MM/jj/aaaa HH:mm:ss pour un mois à deux chiffres, suivi d’un jour à deux chiffres, suivi d’une année à quatre chiffres, tous séparés par des caractères “/” ; puis suivi d’une heure à deux chiffres au format 24 heures, suivie d’une minute à deux chiffres, suivie d’une seconde à deux chiffres, tous séparés par des caractères “:”, comme dans 01/25/2017 18:04:15).

Timestamp Record Path

Un RecordPath pointant vers un champ du ou des enregistrements qui contient le @timestamp du document. S’il est laissé vide, l’horodatage sera déterminé à l’aide de la propriété principale @timestamp

Valeur d’horodatage

La valeur à utiliser comme champ @timestamp (exigence pour les flux de données Elasticsearch)

Traiter Introuvable comme réussite

Si “true”, les enregistrements Elasticsearch associés à des documents « not_found » seront routés vers la relation “successful”, sinon vers la relation « errors ». Si Output Error Responses est “true”, les réponses « not_found » d’Elasticsearch seront envoyées vers la relation error_responses.

Type

Le type de ce document (utilisé par Elasticsearch pour l’indexation et la recherche).

Type Record Path

Une expression de chemin d’enregistrement pour récupérer le champ type à utiliser avec Elasticsearch. S’il n’est pas renseigné, le type sera déterminé à l’aide de la propriété du type principal.

Relations

Nom

Description

errors

Enregistrements/FlowFiles correspondant à des documents Elasticsearch ayant entraîné une réponse « error » (au sein d’Elasticsearch) seront routés ici.

failure

Tous les FlowFiles qui échouent pour des raisons indépendantes de la disponibilité du serveur sont dirigés vers cette relation.

original

Tous les flowfiles qui sont envoyés à Elasticsearch sans échec de requête vont dans cette relation.

retry

Tous les FlowFiles qui échouent en raison de la disponibilité du serveur/cluster sont dirigés vers cette relation.

successful

Les enregistrements/fichiers de flux correspondant aux documents Elasticsearch qui n’ont pas donné lieu à une « erreur » (au sein d’Elasticsearch) seront routés ici.

Écrit les attributs

Nom

Description

elasticsearch.put.error

Le message d’erreur en cas de problème lors de l’analyse des enregistrements FlowFile, de l’envoi des documents analysés à Elasticsearch ou de l’analyse de la réponse d’Elasticsearch.

elasticsearch.put.error.count

Le nombre d’enregistrements qui ont généré des erreurs dans le _bulk API d’Elasticsearch .

elasticsearch.put.success.count

Le nombre d’enregistrements qui ont été traités avec succès par la recherche Elastic _bulk API.

elasticsearch.bulk.error

La réponse _bulk en cas d’erreur lors du traitement de l’enregistrement au sein d’Elasticsearch.

Voir aussi :