ConsumeKinesisStream 2025.10.2.19¶
Bundle¶
org.apache.nifi | nifi-aws-nar
Beschreibung¶
Liest Daten aus dem angegebenen AWS Kinesis-Stream und gibt eine FlowFile für jeden verarbeiteten Datensatz (Rohdatensatz) oder eine FlowFile für einen Batch von verarbeiteten Datensätzen aus, wenn ein Datensatz-Leser und ein Datensatz-Schreiber konfiguriert sind. Mindestens einmalige Bereitstellung aller Kinesis-Datensätze innerhalb des Streams, während der Prozessor läuft. Die Initialisierung der AWS Kinesis Client Library kann einige Sekunden dauern, bevor mit dem Abrufen der Daten begonnen wird. Verwendet DynamoDB für Checkpoints und CloudWatch (optional) für Kennzahlen. Stellen Sie sicher, dass die angegebenen Anmeldedaten Zugriff auf DynamoDB und CloudWatch (optional) zusammen mit Kinesis haben.
Eingabeanforderung¶
FORBIDDEN
Unterstützt sensible dynamische Eigenschaften¶
false
Eigenschaften¶
Eigenschaft |
Beschreibung |
|---|---|
AWS-Anmeldeinformationen-Anbieterdienst |
Der Controller Service, der verwendet wird, um AWS-Anmeldeinformationsanbieter zu erhalten |
Name des Amazon Kinesis-Streams |
Der Name des Kinesis-Streams |
Anwendungsname |
Der Name der Kinesis Stream Reader-Anwendung. |
Checkpoint-Intervall |
Intervall zwischen Kinesis-Checkpoints |
Communications Timeout |
|
DynamoDB Override |
DynamoDB-Überschreibung zur Verwendung von Nicht-AWS-Bereitstellungen |
Endpoint Override URL |
Endpunkt-URL, die anstelle des AWS Standardwerts verwendet werden soll, einschließlich Schema, Host, Port und Pfad. Die AWS-Bibliotheken wählen eine Endpunkt-URL auf der Grundlage der AWS-Region aus, aber diese Eigenschaft überschreibt die ausgewählten Endpunkt-URL und ermöglicht die Verwendung mit anderen S3-kompatiblen Endpunkten. |
Failover Timeout |
Failover-Timeout der Kinesis-Clientbibliothek |
FlowFile-Behandlung von Schemaunterschieden |
Die Strategie, die verwendet wird, wenn Datensätze in einem Kinesis-Stream ihr Schema in einem einzigen Batch ändern. |
Graceful Shutdown Timeout |
Timeout für das kontrollierte Herunterfahren der Kinesis-Clientbibliothek |
Initial Stream Position |
Ausgangsposition zum Lesen von Kinesis-Streams. |
Output Strategy |
Das Format, das zur Ausgabe des Kinesis-Datensatzes in einen FlowFile-Datensatz verwendet wird. |
Record Reader |
Der Record Reader, der zum Lesen empfangener Meldungen verwendet wird. Der Name des Kinesis-Streams kann von der Expression Language „${kinesis.name}“ referenziert werden, um auf ein Schema zuzugreifen. Wenn keine Record Reader/Writer angegeben ist, wird für jeden Kinesis-Datensatz ein FlowFile erstellt. |
Record Writer |
Der Record Writer, der zum Serialisieren von Datensätzen in ein Ausgabe-FlowFile verwendet wird. Der Name des Kinesis-Streams kann von der Expression Language „${kinesis.name}“ referenziert werden, um auf ein Schema zuzugreifen. Wenn keine Record Reader/Writer angegeben ist, wird für jeden Kinesis-Datensatz ein FlowFile erstellt. |
Region |
|
Report Metrics to CloudWatch |
Ob Kinesis-Nutzungsmetriken an CloudWatch gemeldet werden sollen. |
Retry Count |
Anzahl der Wiederholungsversuche für eine Kinesis-Operation (Prozessaufzeichnung, Checkpoint, Herunterfahren) |
Retry Wait |
Intervall zwischen den Wiederholungen von Kinesis-Operationen (Prozessaufzeichnung, Checkpoint, Herunterfahren) |
Stream Position Timestamp |
Zeitstempelposition im Stream, ab der mit dem Lesen von Kinesis-Datensätzen begonnen werden soll. Erforderlich, wenn die Ausgangsposition zum Lesen von Kinesis-Streams. AT_TIMESTAMP ist. Verwendet das „Timestamp Format“, um den Wert in ein Datum zu parsen. |
Timestamp Format |
Format, das zum Parsen des „Stream Position Timestamp“ in ein Datum und zum Konvertieren des „Approximate Arrival Timestamp“ des Kinesis-Datensatzes in ein FlowFile-Attribut verwendet wird. |
proxy-configuration-service |
Gibt den Proxy-Konfigurations-Controller Service an für die Weiterleitung von Netzwerkanforderungen festl. |
Beziehungen¶
Name |
Beschreibung |
|---|---|
success |
FlowFiles werden an die Beziehung „success“ weitergeleitet |
Schreibt Attribute¶
Name |
Beschreibung |
|---|---|
aws.kinesis.partition.key |
Partitionsschlüssel des (letzten) vom Shard gelesenen Kinesis-Datensatzes |
aws.kinesis.shard.id |
Shard-ID, aus der der Kinesis-Datensatz gelesen wurde |
aws.kinesis.sequence.number |
Der eindeutige Bezeichner des (letzten) Kinesis-Datensatzes innerhalb seines Shards |
aws.kinesis.approximate.arrival.timestamp |
Ungefährer Ankunftszeitstempel des (letzten) Kinesis-Datensatzes, der aus dem Stream gelesen wurde |
mime.type |
Setzt das Attribut „mime.type“ auf den vom Record Writer angegebenen MIME-Typ (falls konfiguriert) |
record.count |
Anzahl der Datensätze, die vom Record Writer in die FlowFiles geschrieben wurden (falls konfiguriert) |
record.error.message |
Dieses Attribut liefert bei einem Fehler die Fehlermeldung, die der Record Reader oder Record Writer (falls konfiguriert) erhalten hat |