ConsumeKinesisStream 2025.5.31.15¶
Bundle¶
org.apache.nifi | nifi-aws-nar
Description¶
Lit les données du flux AWS Kinesis spécifié et génère un FlowFile pour chaque enregistrement traité (brut) ou un FlowFile pour un lot d’enregistrements traités si un Record Reader et un Record Writer sont configurés. Livraison au moins une fois de tous les enregistrements Kinesis présents dans le flux pendant que le processeur est en cours d’exécution. La bibliothèque client AWS Kinesis peut prendre plusieurs secondes pour s’initialiser avant de commencer à récupérer des données. Utilise DynamoDB pour les points de contrôle et CloudWatch (facultatif) pour les mesures. Assurez-vous que les identifiants fournis ont accès à DynamoDB et CloudWatch (facultatif) ainsi qu’à Kinesis.
Exigences en matière d’entrées¶
FORBIDDEN
Prend en charge les propriétés dynamiques sensibles¶
false
Propriétés¶
Propriété |
Description |
|---|---|
Service des fournisseurs d’identifiants de connexion AWS |
Le Controller Service qui est utilisé pour obtenir le fournisseur d’identifiants de connexion AWS |
Amazon Kinesis Stream Name |
Le nom du flux Kinesis |
Application Name |
Le nom d’application du lecteur de flux Kinesis. |
Checkpoint Interval |
Intervalle entre les points de contrôle Kinesis |
Délai d’expiration de la communication |
|
DynamoDB Override |
Option de substitution à DynamoDB pour l’utilisation de déploiements hors AWS |
Endpoint Override URL |
URL du point de terminaison à utiliser à la place du point de terminaison AWS par défaut, y compris le schéma, l’hôte, le port et le chemin. Les bibliothèques AWS sélectionnent une URL de point de terminaison en fonction de la région AWS, mais cette propriété remplace l’URL de point de terminaison sélectionnée, ce qui permet une utilisation avec d’autres points de terminaison compatibles S3. |
Failover Timeout |
Délai d’expiration du basculement de la bibliothèque cliente Kinesis |
Graceful Shutdown Timeout |
Délai d’expiration pour l’arrêt en douceur de la bibliothèque cliente Kinesis |
Initial Stream Position |
Position initiale pour la lecture des flux Kinesis. |
Output Strategy |
Le format utilisé pour générer l’enregistrement Kinesis sous la forme d’un enregistrement de FlowFile. |
Record Reader |
Le Record Reader à utiliser pour lire les messages reçus. Le nom du flux Kinesis peut être référencé par la formule Expression Language « ${kinesis.name} » pour accéder à un schéma. Si aucun Record Reader/Writer n’est spécifié, chaque enregistrement Kinesis créera un FlowFile. |
Record Writer |
Le Record Writer à utiliser pour sérialiser les enregistrements vers un FlowFile de sortie. Le nom du flux Kinesis peut être référencé par la formule Expression Language « ${kinesis.name} » pour accéder à un schéma. Si aucun Record Reader/Writer n’est spécifié, chaque enregistrement Kinesis créera un FlowFile. |
Region |
|
Report Metrics to CloudWatch |
Indique si les mesures d’utilisation de Kinesis doivent être communiquées à CloudWatch. |
Retry Count |
Nombre de tentatives autorisées pour une opération Kinesis (traitement d’enregistrement, point de contrôle ou arrêt) |
Retry Wait |
Intervalle entre deux tentatives d’exécution d’une opération Kinesis (traitement d’enregistrement, point de contrôle ou arrêt) |
Stream Position Timestamp |
Position de l’horodatage dans le flux à partir de laquelle commencer à lire les enregistrements Kinesis. Cette propriété est requise si la position initiale pour lire les flux Kinesis est AT_TIMESTAMP. Utilise le format horodatage pour analyser la valeur en tant que date. |
Timestamp Format |
Format à utiliser pour analyser la valeur Stream Position Timestamp en tant que date et pour convertir la valeur Approximate Arrival Timestamp de l’enregistrement Kinesis en un attribut de FlowFile. |
service proxy-configuration |
Spécifie le Controller Service de configuration proxy pour les requêtes réseau proxy. |
Relations¶
Nom |
Description |
|---|---|
success |
Les FlowFiles sont routés vers la relation « success » |
Écrit les attributs¶
Nom |
Description |
|---|---|
aws.kinesis.partition.key |
Clé de partition du (dernier) enregistrement Kinesis lu dans le shard |
aws.kinesis.shard.id |
ID du shard dans lequel l’enregistrement Kinesis a été lu |
aws.kinesis.sequence.number |
Identificateur unique du (dernier) enregistrement Kinesis au sein de son shard |
aws.kinesis.approximate.arrival.timestamp |
Horodatage approximatif de l’arrivée du (dernier) enregistrement Kinesis lu depuis le flux |
mime.type |
Définit l’attribut mime.type sur le type MIME spécifié par le Record Writer (s’il est configuré) |
record.count |
Nombre d’enregistrements écrits dans les FlowFiles par le Record Writer (s’il est configuré) |
record.error.message |
Cet attribut fournit, en cas d’échec, le message d’erreur rencontré par le Record Reader ou le Record Writer (s’ils sont configurés) |