ListAzureBlobStorage_v12 2025.10.9.21

バンドル

org.apache.nifi | nifi-azure-nar

説明

Azure Blobストレージコンテナー内のブロブをリストします。リストの詳細は、 FetchAzureBlobStorage で使用するために空の FlowFile に添付されます。このプロセッサーは、クラスタ内のプライマリノードのみで動作するように設計されています。プライマリ・ノードが変更された場合、新しいプライマリ・ノードは、すべてのデータを複製することなく、前のノードが去った場所を引き継ぎます。プロセッサーは、Azure Blob Storage クライアントライブラリ v12 を使用します。

タグ

Azure、blob、クラウド、Microsoft、ストレージ

入力要件

FORBIDDEN

機密動的プロパティをサポート

false

プロパティ

プロパティ

説明

BLOB名プレフィックス

リストの検索プレフィックス

コンテナ名

Azure ストレージコンテナーの名前。PutAzureBlobStorage プロセッサーの場合、コンテナーが存在しなければ作成することができます。

エンティティ追跡初期リストターゲット

初期リストの処理方法を指定します。「エンティティの追跡」戦略で使用されます。

エンティティ追跡状態キャッシュ

リストされたエンティティは指定されたキャッシュストレージに保存されるため、このプロセッサーは、NiFi 再起動時またはプライマリノードが変更された場合に、リストを再開できます。「エンティティの追跡」戦略では、直近の「追跡時間ウィンドウ」内にリストされているすべてのエンティティの追跡情報が必要です。多数のエンティティをサポートするために、この戦略では管理状態の代わりに DistributedMapCache を使用します。キャッシュキーの形式は「ListedEntities::{processorId}(::{nodeId})」です。ノードごとに列挙されたエンティティを追跡する場合は、状態を個別に管理するためにオプションの「::{nodeId}」部分が追加されます。例:クラスター全体のキャッシュキー =「ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b」、ノードごとのキャッシュキー =「ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b::nifi-node3」保存されるキャッシュの内容はGzip圧縮された JSON 文字列です。キャッシュキーは、ターゲットリスティングの構成が変更されると削除されます。「エンティティの追跡」戦略で使用されます。

エンティティ追跡時間枠

このプロセッサーが、すでにリストされているエンティティを追跡する期間を指定します。「エンティティの追跡」戦略は、タイムスタンプが指定された時間枠内にあるエンティティを選ぶことができます。例えば、「30 minutes」に設定すると、このプロセッサーが実行されたときに、最近30分のタイムスタンプを持つすべてのエンティティがリスティングの対象となります。リストされたエンティティは「新規/更新」とみなされ、以下の条件のいずれかが満たされた場合にFlowFile が発行されます。1. 既にリストされているエンティティに存在しない、2. キャッシュされたエンティティよりもタイムスタンプが新しい、3. キャッシュされたエンティティとはサイズが異なる。キャッシュされたエンティティのタイムスタンプが指定された時間枠より古くなった場合、そのエンティティはキャッシュされた既にリストされているエンティティから削除されます。「エンティティの追跡」戦略で使用されます。

リスティング戦略

新規/更新エンティティの判定方法を指定します。詳しくは各戦略の説明をご覧ください。

最大ファイル年齢

ファイルが引き出されるために必要な最大年齢。（最終更新日付に従って）この時間より古いファイルは無視されます。

最大ファイルサイズ

プルされるファイルの最大サイズ

最低ファイル年齢

ファイルが引き出されるために必要な最低年齢。（最終更新日付に従って）この期間より若いファイルは無視されます。

最小ファイルサイズ

プルされるために必要なファイルの最小サイズ

Record Writer

リストの作成に使用するRecord Writerを指定します。指定しない場合は、リストされたエンティティごとに FlowFile が1つ作成されます。Record Writerを指定すると、個々の FlowFiles に属性を追加する代わりに、すべてのエンティティが単一の FlowFile に書き込まれます。

ストレージ認証情報

Azure Blobストレージ認証情報の取得に使用するController Service。

proxy-configuration-service

ネットワークリクエストをプロキシするプロキシ構成Controller Serviceを指定します。SOCKS の場合、選択された SOCKS バージョンがプロセッサーで使用されることは保証されません。

状態管理

スコープ

説明

CLUSTER

Blobのリストをパフォーマンスした後、'タイムスタンプの追跡'リスト戦略が使用されている場合（デフォルト）、最新のBlobのタイムスタンプが保存されます。これにより、Processorが次回実行されたときに、この日付以降に追加または変更されたblobのみをリストすることができます。状態はクラスタリングに保存され、このプロセッサーがPrimary Nodeで実行されます。新しいプライマリ・ノードが選択された場合、新しいノードはデータを複製することなく、前のノードが停止した場所を引き継ぐことができます。

リレーションシップ

名前

説明

success

受信したすべての FlowFiles は成功にルーティングされます。

属性の書き込み

名前

説明

azure.container

Azure Blob Storageコンテナーの名前。

azure.blobname

Azure Blobストレージ上のblob名

azure.primaryUri

blobの主な位置

azure.etag

ブロブの ETag

azure.blobtype

blobのタイプ (BlockBlob、 PageBlob、 AppendBlob のいずれか)

mime.type

コンテンツの MIME タイプ

lang

コンテンツの言語コード

azure.timestamp

blobのタイムスタンプ

azure.length

blobの長さ

こちらもご覧ください