ConsumeKinesisStream 2025.5.31.15¶
バンドル¶
org.apache.nifi | nifi-aws-nar
説明¶
指定された AWS Kinesis ストリームからデータを読み取り、処理された記録 (raw) ごとに FlowFile を出力するか、Record ReaderとRecord Writerが構成されている場合は、処理された記録のバッチに FlowFile を出力します。プロセッサーの実行中にストリーム内のすべてのKinesis記録を一度に配信します。AWS Kinesisクライアントライブラリは、データの取得を開始する前に、初期化に数秒かかることがあります。チェック・ポイントには DynamoDB を使用し、メトリクスには CloudWatch (オプション) を使用します。提供された認証情報 が、Kinesisとともに DynamoDB、 CloudWatch (オプション) にアクセスできることを確認します。
入力要件¶
FORBIDDEN
機密動的プロパティをサポート¶
false
プロパティ¶
プロパティ |
説明 |
|---|---|
AWS 認証情報 プロバイダーサービス |
AWS 認証情報プロバイダーの取得に使用するController Service。 |
Amazon Kinesisストリーム名 |
キネシスストリームの名称 |
アプリケーション名 |
Kinesisストリームリーダーのアプリケーション名。 |
チェックポイントの間隔 |
キネシスのチェックポイントの間隔 |
通信タイムアウト |
|
DynamoDB オーバーライド |
DynamoDB は AWS 以外のデプロイメントを使用するようにオーバーライドします。 |
エンドポイントオーバーライド URL |
スキーム、ホスト、ポート、パスを含む AWS デフォルトの代わりに使用するエンドポイント URL。AWS ライブラリは AWS リージョンに基づきエンドポイント URL を選択しますが、このプロパティは選択されたエンドポイント URL を上書きし、他の S3 互換エンドポイントとの使用を可能にします。 |
フェールオーバー タイムアウト |
Kinesisクライアントライブラリのフェールオーバータイムアウト |
グレースフル シャットダウン タイムアウト |
Kinesisクライアント・ライブラリのグレースフル・シャットダウン・タイムアウト |
ストリーム初期位置 |
Kinesisストリームを読み込む初期位置。 |
出力ストラテジー |
Kinesis Recordを FlowFile Recordに出力する際に使用される形式。 |
Record Reader |
受信したメッセージの読み取りに使用するRecord Reader。Kinesis ストリーム名は式言語 '${kinesis.name}' でリファレンスしてスキーマにアクセスできます。Record Reader/ライターが指定されていない場合、各Kinesis記録は FlowFile を作成します。 |
Record Writer |
レコードを FlowFile 出力にシリアライズするために使用するRecord Writer。Kinesis ストリーム名は式言語 '${kinesis.name}' でリファレンスしてスキーマにアクセスできます。Record Reader/ライターが指定されていない場合、各Kinesis記録は FlowFile を作成します。 |
リージョン |
|
評価指標の CloudWatch への報告 |
Kinesis の使用状況メトリクスを CloudWatch に報告するかどうか。 |
リトライ 回数 |
Kinesis操作（プロセス記録、チェックポイント、シャットダウン）の再試行回数 |
リトライ待ち |
Kinesis操作の再試行間隔（プロセスの記録、チェックポイント、シャットダウン） |
ストリーム位置 タイムスタンプ |
Kinesis記録の読み取りを開始するストリーム内のタイムスタンプ位置。Kinesis ストリームを読み込む初期位置が AT_TIMESTAMP の場合に必要です。タイムスタンプ形式を使用して、値を日付にパースします。 |
タイムスタンプ形式 |
ストリーム位置のタイムスタンプをDateにパースし、Kinesisレコードのおおよその到着タイムスタンプを FlowFile 属性に変換する際に使用する形式。 |
proxy-configuration-service |
ネットワークリクエストをプロキシするプロキシ構成Controller Serviceを指定します。 |
リレーションシップ¶
名前 |
説明 |
|---|---|
success |
FlowFiles は成功関係にルーティングされます。 |
属性の書き込み¶
名前 |
説明 |
|---|---|
aws.kinesis.partition.key |
シャードから読み込まれた（最後の）キネシス記録のパーティションキー |
aws.kinesis.shard.id |
キネシス記録を読み取ったシャード ID |
aws.kinesis.sequence.number |
シャード内の（最後の）Kinesisレコードの一意の識別子。 |
aws.kinesis.approximate.arrival.timestamp |
ストリームから読み込まれた（最後の）Kinesisレコードのおおよその到着タイムスタンプ。 |
mime.type |
mime.type属性をRecord Writerで指定された MIME Typeにセットします（構成されている場合）。 |
record.count |
Record Writer（構成されている場合）が FlowFiles に書き込んだ記録数。 |
record.error.message |
この属性は、失敗時にRecord ReaderまたはRecord Writer（構成されている場合）が遭遇したエラーメッセージを提供します。 |