ConsumeKinesisStream 2025.5.31.15¶
Bundle¶
org.apache.nifi | nifi-aws-nar
Beschreibung¶
Liest Daten aus dem angegebenen AWS Kinesis-Stream und gibt ein FlowFile für jeden verarbeiteten Datensatz (roh) oder eine FlowFile für einen Batch verarbeiteter Datensätze aus, wenn ein Record Reader und Record Writer konfiguriert sind. „At-least-once-“-Zustellung aller Kinesis-Datensätze innerhalb des Streams, während der Prozessor läuft. Die Initialisierung der AWS Kinesis-Clientbibliothek kann einige Sekunden dauern, bevor mit mit dem Abrufen von Daten begonnen wird. Verwendet DynamoDB für Checkpointing und CloudWatch (optional) für Metriken. Vergewissern Sie sich, dass die angegebenen Anmeldeinformationen neben Kinesis auch Zugriff auf DynamoDB und CloudWatch (optional) haben.
Eingabeanforderung¶
FORBIDDEN
Unterstützt sensible dynamische Eigenschaften¶
false
Eigenschaften¶
Eigenschaft |
Beschreibung |
|---|---|
AWS-Anmeldeinformationen-Anbieterdienst |
Der Controller Service, der verwendet wird, um AWS-Anmeldeinformationsanbieter zu erhalten |
Name des Amazon Kinesis-Streams |
Der Name des Kinesis-Streams |
Anwendungsname |
Der Name der Kinesis Stream Reader-Anwendung. |
Checkpoint-Intervall |
Intervall zwischen Kinesis-Checkpoints |
Communications Timeout |
|
DynamoDB Override |
DynamoDB-Überschreibung zur Verwendung von Nicht-AWS-Bereitstellungen |
Endpoint Override URL |
Endpunkt-URL, die anstelle des AWS Standardwerts verwendet werden soll, einschließlich Schema, Host, Port und Pfad. Die AWS-Bibliotheken wählen eine Endpunkt-URL auf der Grundlage der AWS-Region aus, aber diese Eigenschaft überschreibt die ausgewählten Endpunkt-URL und ermöglicht die Verwendung mit anderen S3-kompatiblen Endpunkten. |
Failover Timeout |
Failover-Timeout der Kinesis-Clientbibliothek |
Graceful Shutdown Timeout |
Timeout für das kontrollierte Herunterfahren der Kinesis-Clientbibliothek |
Initial Stream Position |
Ausgangsposition zum Lesen von Kinesis-Streams. |
Output Strategy |
Das Format, das zur Ausgabe des Kinesis-Datensatzes in einen FlowFile-Datensatz verwendet wird. |
Record Reader |
Der Record Reader, der zum Lesen empfangener Meldungen verwendet wird. Der Name des Kinesis-Streams kann von der Expression Language „${kinesis.name}“ referenziert werden, um auf ein Schema zuzugreifen. Wenn keine Record Reader/Writer angegeben ist, wird für jeden Kinesis-Datensatz ein FlowFile erstellt. |
Record Writer |
Der Record Writer, der zum Serialisieren von Datensätzen in ein Ausgabe-FlowFile verwendet wird. Der Name des Kinesis-Streams kann von der Expression Language „${kinesis.name}“ referenziert werden, um auf ein Schema zuzugreifen. Wenn keine Record Reader/Writer angegeben ist, wird für jeden Kinesis-Datensatz ein FlowFile erstellt. |
Region |
|
Report Metrics to CloudWatch |
Ob Kinesis-Nutzungsmetriken an CloudWatch gemeldet werden sollen. |
Retry Count |
Anzahl der Wiederholungsversuche für eine Kinesis-Operation (Prozessaufzeichnung, Checkpoint, Herunterfahren) |
Retry Wait |
Intervall zwischen den Wiederholungen von Kinesis-Operationen (Prozessaufzeichnung, Checkpoint, Herunterfahren) |
Stream Position Timestamp |
Zeitstempelposition im Stream, ab der mit dem Lesen von Kinesis-Datensätzen begonnen werden soll. Erforderlich, wenn die Ausgangsposition zum Lesen von Kinesis-Streams. AT_TIMESTAMP ist. Verwendet das „Timestamp Format“, um den Wert in ein Datum zu parsen. |
Timestamp Format |
Format, das zum Parsen des „Stream Position Timestamp“ in ein Datum und zum Konvertieren des „Approximate Arrival Timestamp“ des Kinesis-Datensatzes in ein FlowFile-Attribut verwendet wird. |
proxy-configuration-service |
Gibt den Proxy-Konfigurations-Controller Service an für die Weiterleitung von Netzwerkanforderungen festl. |
Beziehungen¶
Name |
Beschreibung |
|---|---|
success |
FlowFiles werden an die Beziehung „success“ weitergeleitet |
Schreibt Attribute¶
Name |
Beschreibung |
|---|---|
aws.kinesis.partition.key |
Partitionsschlüssel des (letzten) vom Shard gelesenen Kinesis-Datensatzes |
aws.kinesis.shard.id |
Shard-ID, aus der der Kinesis-Datensatz gelesen wurde |
aws.kinesis.sequence.number |
Der eindeutige Bezeichner des (letzten) Kinesis-Datensatzes innerhalb seines Shards |
aws.kinesis.approximate.arrival.timestamp |
Ungefährer Ankunftszeitstempel des (letzten) Kinesis-Datensatzes, der aus dem Stream gelesen wurde |
mime.type |
Setzt das Attribut „mime.type“ auf den vom Record Writer angegebenen MIME-Typ (falls konfiguriert) |
record.count |
Anzahl der Datensätze, die vom Record Writer in die FlowFiles geschrieben wurden (falls konfiguriert) |
record.error.message |
Dieses Attribut liefert bei einem Fehler die Fehlermeldung, die der Record Reader oder Record Writer (falls konfiguriert) erhalten hat |