ConsumeKinesisStream 2025.10.2.19¶
バンドル¶
org.apache.nifi | nifi-aws-nar
説明¶
Reads data from the specified AWS Kinesis stream and outputs a FlowFile for every processed Record (raw) or a FlowFile for a batch of processed records if a Record Reader and Record Writer are configured. At-least-once delivery of all Kinesis Records within the Stream while the processor is running. AWS Kinesis Client Library can take several seconds to initialise before starting to fetch data. Uses DynamoDB for check pointing and CloudWatch (optional) for metrics. Ensure that the credentials provided have access to DynamoDB and CloudWatch (optional) along with Kinesis.
入力要件¶
FORBIDDEN
機密動的プロパティをサポート¶
false
プロパティ¶
プロパティ |
説明 |
|---|---|
AWS 認証情報 プロバイダーサービス |
AWS 認証情報プロバイダーの取得に使用するController Service。 |
Amazon Kinesisストリーム名 |
キネシスストリームの名称 |
アプリケーション名 |
Kinesisストリームリーダーのアプリケーション名。 |
チェックポイントの間隔 |
キネシスのチェックポイントの間隔 |
通信タイムアウト |
|
DynamoDB オーバーライド |
DynamoDB は AWS 以外のデプロイメントを使用するようにオーバーライドします。 |
エンドポイントオーバーライド URL |
スキーム、ホスト、ポート、パスを含む AWS デフォルトの代わりに使用するエンドポイント URL。AWS ライブラリは AWS リージョンに基づきエンドポイント URL を選択しますが、このプロパティは選択されたエンドポイント URL を上書きし、他の S3 互換エンドポイントとの使用を可能にします。 |
フェールオーバー タイムアウト |
Kinesisクライアントライブラリのフェールオーバータイムアウト |
スキーマの違いによる FlowFile の処理 |
Kinesisストリームの記録が1つのバッチでスキーマを変更した場合に使用される戦略。 |
グレースフル シャットダウン タイムアウト |
Kinesisクライアント・ライブラリのグレースフル・シャットダウン・タイムアウト |
ストリーム初期位置 |
Kinesisストリームを読み込む初期位置。 |
出力ストラテジー |
Kinesis Recordを FlowFile Recordに出力する際に使用される形式。 |
Record Reader |
受信したメッセージの読み取りに使用するRecord Reader。Kinesis ストリーム名は式言語 '${kinesis.name}' でリファレンスしてスキーマにアクセスできます。Record Reader/ライターが指定されていない場合、各Kinesis記録は FlowFile を作成します。 |
Record Writer |
レコードを FlowFile 出力にシリアライズするために使用するRecord Writer。Kinesis ストリーム名は式言語 '${kinesis.name}' でリファレンスしてスキーマにアクセスできます。Record Reader/ライターが指定されていない場合、各Kinesis記録は FlowFile を作成します。 |
リージョン |
|
評価指標の CloudWatch への報告 |
Kinesis の使用状況メトリクスを CloudWatch に報告するかどうか。 |
リトライ 回数 |
Kinesis操作（プロセス記録、チェックポイント、シャットダウン）の再試行回数 |
リトライ待ち |
Kinesis操作の再試行間隔（プロセスの記録、チェックポイント、シャットダウン） |
ストリーム位置 タイムスタンプ |
Kinesis記録の読み取りを開始するストリーム内のタイムスタンプ位置。Kinesis ストリームを読み込む初期位置が AT_TIMESTAMP の場合に必要です。タイムスタンプ形式を使用して、値を日付にパースします。 |
タイムスタンプ形式 |
ストリーム位置のタイムスタンプをDateにパースし、Kinesisレコードのおおよその到着タイムスタンプを FlowFile 属性に変換する際に使用する形式。 |
proxy-configuration-service |
ネットワークリクエストをプロキシするプロキシ構成Controller Serviceを指定します。 |
リレーションシップ¶
名前 |
説明 |
|---|---|
success |
FlowFiles は成功関係にルーティングされます。 |
属性の書き込み¶
名前 |
説明 |
|---|---|
aws.kinesis.partition.key |
シャードから読み込まれた（最後の）キネシス記録のパーティションキー |
aws.kinesis.shard.id |
キネシス記録を読み取ったシャード ID |
aws.kinesis.sequence.number |
シャード内の（最後の）Kinesisレコードの一意の識別子。 |
aws.kinesis.approximate.arrival.timestamp |
ストリームから読み込まれた（最後の）Kinesisレコードのおおよその到着タイムスタンプ。 |
mime.type |
mime.type属性をRecord Writerで指定された MIME Typeにセットします（構成されている場合）。 |
record.count |
Record Writer（構成されている場合）が FlowFiles に書き込んだ記録数。 |
record.error.message |
この属性は、失敗時にRecord ReaderまたはRecord Writer（構成されている場合）が遭遇したエラーメッセージを提供します。 |