PutElasticsearchRecord 2025.10.9.21¶
Bundle¶
org.apache.nifi | nifi-elasticsearch-restapi-nar
Description¶
Un processeur de mise en place d’Elasticsearch tenant compte des enregistrements et utilisant les bibliothèques client officielles d’Elastic REST. Chaque enregistrement contenu dans le FlowFile est converti en une documentation à envoyer à l’API _bulk Elasticsearch APi. Plusieurs documents peuvent être mis en lot dans chaque requête envoyée à Elasticsearch. L’opération en bloc de chaque document peut être configurée à l’aide d’expressions de chemin d’enregistrement.
Exigences en matière d’entrées¶
REQUIRED
Prend en charge les propriétés dynamiques sensibles¶
false
Propriétés¶
Propriété |
Description |
|---|---|
Batch Size |
Nombre d’enregistrements à envoyer en un seul lot. |
Client Service |
Un service client Elasticsearch à utiliser pour l’exécution des requêtes. |
Format de date |
Spécifie le format à utiliser lors de la rédaction des champs Date. S’il n’est pas spécifié, le format par défaut “aaaa-MM-dd” est utilisé. Si elle est spécifiée, la valeur doit correspondre au format de date simple de Java (par exemple, MM/jj/aaaa pour un mois à deux chiffres, suivi d’un jour à deux chiffres, suivi d’une année à quatre chiffres, tous séparés par des caractères “/”, comme dans 01/25/2017). |
Dynamic Templates Record Path |
Un RecordPath pointant vers un champ du ou des enregistrements qui contient les dynamic_templates pour le document. Le champ doit être compatible avec le type de carte (par exemple, une carte ou un enregistrement) ou une chaîne pouvant être analysée en un objet JSON. Exige Elasticsearch 7+ |
Regrouper les résultats par type d’erreur de lot |
The errored records written to the « errors » relationship will be grouped by error type and the error related to the first record within the FlowFile added to the FlowFile as « elasticsearch.bulk.error ». If « Treat Not Found as Success » is « false » then records associated with « not_found » Elasticsearch document responses will also be send to the « errors » relationship. |
ID Record Path |
Une expression de chemin d’enregistrement pour récupérer le champ ID à utiliser avec Elasticsearch. S’il est laissé vide, l’ID sera automatiquement généré par Elasticsearch. |
Index |
Le nom de l’index à utiliser. |
Opération d’index |
Le type de l’opération utilisée pour l’index (création, suppression, index, mise à jour, insertion) |
Chemin d’enregistrement de l’opération d’index |
Une expression de chemin d’enregistrement pour récupérer le champ Opération d’index pour une utilisation avec Elasticsearch. Si elle est laissée vide, l’opération d’indexation sera déterminée à l’aide de la propriété principale d’opération d’indexation. |
Chemin d’opération d’index |
Une expression de chemin d’enregistrement pour récupérer le champ d’index pour une utilisation avec Elasticsearch. S’il n’est pas renseigné, l’index sera déterminé à l’aide de la propriété de l’index principal. |
Log Error Responses |
Si cette option est activée, les erreurs seront consignées dans les journaux NiFi au niveau “error”. Sinon, elles ne seront connectées que si la connexion de débogage est activée sur NiFi dans son ensemble. L’objectif de cette option est de donner à l’utilisateur la possibilité de déboguer les opérations qui ont échoué sans avoir à activer la connexion de débogage. |
Max JSON Field String Length |
Longueur maximale autorisée pour une valeur de chaîne lors de l’analyse d’un document ou d’un attribut JSON. |
Output Error Responses |
Si cette option est activée, les messages de réponse provenant d’Elasticsearch marqués comme « erreurs » seront envoyés vers la relation « error_responses ». Cela n’a pas d’incidence sur la sortie des fichiers de flux vers les relations « successful » ou « errors ». |
Record Reader |
Le Record Reader à utiliser pour lire les enregistrements entrants des fichiers de flux. |
Result Record Writer |
La réponse d’Elasticsearch sera examinée pour détecter les enregistrements défaillants et ces derniers seront écrits dans un ensemble d’enregistrements avec ce service Record Writer et envoyés dans la relation « errors ». Les enregistrements réussis seront écrits dans un ensemble d’enregistrements avec ce service de rédaction d’enregistrements et envoyés à la relation « réussi ». |
Conserver ID (Chemin d’enregistrement) |
Indique s’il faut conserver le champ existant utilisé comme chemin d’accès à l’enregistrement ID. |
Retain Record Timestamp |
Indique s’il faut conserver le champ existant utilisé comme chemin d’enregistrement pour le @timestamp. |
Script Record Path |
Un RecordPath pointant vers un champ du ou des enregistrements qui contient le script pour la mise à jour/upsert du document. Ne s’applique qu’aux opérations de mise à jour/suppression. Le champ doit être compatible avec le type de carte (par exemple, une carte ou un enregistrement) ou une chaîne pouvant être analysée en un objet JSON |
Chemin d’upsert scripté des enregistrements |
A RecordPath pointing to a field in the record(s) that contains the scripted_upsert boolean flag. Whether to add the scripted_upsert flag to the Upsert Operation. Forces Elasticsearch to execute the Script whether or not the document exists, defaults to false. If the Upsert Document provided (from FlowFile content) will be empty, but sure to set the Client Service controller service’s Suppress Null and Empty Values to Never Suppress or no « upsert » doc will be, included in the request to Elasticsearch and the operation will not create a new document for the script to execute against, resulting in a « not_found » error |
Format de l’heure |
Spécifie le format à utiliser lors de la rédaction des champs Heure. S’il n’est pas spécifié, le format par défaut “HH: mm:ss” est utilisé. Si elle est spécifiée, la valeur doit correspondre au format Java java.time.format. (par exemple, HH:mm:ss pour une heure à deux chiffres au format 24 heures, suivie d’une minute à deux chiffres, suivie d’une seconde à deux chiffres, le tout séparé par des caractères “:”, comme dans 18:04:15). |
Timestamp Format |
Spécifie le format à utiliser lors de l’écriture des champs horodatage. S’il n’est pas spécifié, le format par défaut “aaaa-MM-dd HH: mm:ss” est utilisé. Si elle est spécifiée, la valeur doit correspondre au format de date simple de Java (par exemple, MM/jj/aaaa HH:mm:ss pour un mois à deux chiffres, suivi d’un jour à deux chiffres, suivi d’une année à quatre chiffres, tous séparés par des caractères “/” ; puis suivi d’une heure à deux chiffres au format 24 heures, suivie d’une minute à deux chiffres, suivie d’une seconde à deux chiffres, tous séparés par des caractères “:”, comme dans 01/25/2017 18:04:15). |
Timestamp Record Path |
Un RecordPath pointant vers un champ du ou des enregistrements qui contient le @timestamp du document. S’il est laissé vide, l’horodatage sera déterminé à l’aide de la propriété principale @timestamp |
Valeur d’horodatage |
La valeur à utiliser comme champ @timestamp (exigence pour les flux de données Elasticsearch) |
Traiter Introuvable comme réussite |
Si “true”, les enregistrements Elasticsearch associés à des documents « not_found » seront routés vers la relation “successful”, sinon vers la relation « errors ». Si Output Error Responses est “true”, les réponses « not_found » d’Elasticsearch seront envoyées vers la relation error_responses. |
Type |
Le type de ce document (utilisé par Elasticsearch pour l’indexation et la recherche). |
Type Record Path |
Une expression de chemin d’enregistrement pour récupérer le champ type à utiliser avec Elasticsearch. S’il n’est pas renseigné, le type sera déterminé à l’aide de la propriété du type principal. |
Relations¶
Nom |
Description |
|---|---|
errors |
Enregistrements/FlowFiles correspondant à des documents Elasticsearch ayant entraîné une réponse « error » (au sein d’Elasticsearch) seront routés ici. |
failure |
Tous les FlowFiles qui échouent pour des raisons indépendantes de la disponibilité du serveur sont dirigés vers cette relation. |
original |
Tous les flowfiles qui sont envoyés à Elasticsearch sans échec de requête vont dans cette relation. |
retry |
Tous les FlowFiles qui échouent en raison de la disponibilité du serveur/cluster sont dirigés vers cette relation. |
successful |
Les enregistrements/fichiers de flux correspondant aux documents Elasticsearch qui n’ont pas donné lieu à une « erreur » (au sein d’Elasticsearch) seront routés ici. |
Écrit les attributs¶
Nom |
Description |
|---|---|
elasticsearch.put.error |
Le message d’erreur en cas de problème lors de l’analyse des enregistrements FlowFile, de l’envoi des documents analysés à Elasticsearch ou de l’analyse de la réponse d’Elasticsearch. |
elasticsearch.put.error.count |
Le nombre d’enregistrements qui ont généré des erreurs dans le _bulk API d’Elasticsearch . |
elasticsearch.put.success.count |
Le nombre d’enregistrements qui ont été traités avec succès par la recherche Elastic _bulk API. |
elasticsearch.bulk.error |
La réponse _bulk en cas d’erreur lors du traitement de l’enregistrement au sein d’Elasticsearch. |