ListAzureDataLakeStorage 2025.10.2.19¶
バンドル¶
org.apache.nifi | nifi-azure-nar
説明¶
Azure Data Lake Storage Gen 2 ファイルシステム内のディレクトリをリストします。
入力要件¶
FORBIDDEN
機密動的プロパティをサポート¶
false
プロパティ¶
プロパティ |
説明 |
|---|---|
ADLS Credentials |
Azure認証情報の取得に使用するController Service。 |
Directory Name |
Azure ストレージディレクトリの名前。ディレクトリ名に先頭の「/」を含めることはできません。ルート・ディレクトリは空文字列の値で指定できます。PutAzureDataLakeStorage プロセッサーの場合、ディレクトリがまだ存在しなければ作成されます。 |
File Filter |
指定された正規表現にマッチする名前のファイルだけがリストされます。 |
Filesystem Name |
Azure ストレージファイルシステム（コンテナーとも呼ばれる）の名前。すでに存在するものとします。 |
Include Temporary Files |
構成されたディレクトリパスの内容をリストする際に、仮のファイルを含めるかどうか。 |
最大ファイル年齢 |
ファイルが引き出されるために必要な最大年齢。（最終更新日付に従って）この時間より古いファイルは無視されます。 |
最大ファイルサイズ |
プルされるファイルの最大サイズ |
最低ファイル年齢 |
ファイルが引き出されるために必要な最低年齢。（最終更新日付に従って）この期間より若いファイルは無視されます。 |
最小ファイルサイズ |
プルされるために必要なファイルの最小サイズ |
Path Filter |
「サブディレクトリの再帰」が true の場合、与えられた正規表現にマッチするパスを持つ サブディレクトリのみがスキャンされます。 |
Recurse Subdirectories |
ディレクトリのサブディレクトリのファイルをリストするかどうかを示します。 |
et-initial-listing-target |
Specify how initial listing should be handled. Used by 'Tracking Entities'strategy. |
et-state-cache |
Listed entities are stored in the specified cache storage so that this processor can resume listing across NiFi restart or in case of primary node change. 'Tracking Entities'strategy require tracking information of all listed entities within the last 'Tracking Time Window'. To support large number of entities, the strategy uses DistributedMapCache instead of managed state. Cache key format is 'ListedEntities::{processorId}(::{nodeId})'. If it tracks per node listed entities, then the optional '::{nodeId}' part is added to manage state separately. E.g. cluster wide cache key ='ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b', per node cache key ='ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b::nifi-node3' The stored cache content is Gzipped JSON string. The cache key will be deleted when target listing configuration is changed. Used by 'Tracking Entities'strategy. |
et-time-window |
Specify how long this processor should track already-listed entities. 'Tracking Entities'strategy can pick any entity whose timestamp is inside the specified time window. For example, if set to '30 minutes', any entity having timestamp in recent 30 minutes will be the listing target when this processor runs. A listed entity is considered 'new/updated' and a FlowFile is emitted if one of following condition meets: 1. does not exist in the already-listed entities, 2. has newer timestamp than the cached entity, 3. has different size than the cached entity. If a cached entity 's timestamp becomes older than specified time window, that entity will be removed from the cached already-listed entities. Used by'Tracking Entities'strategy. |
listing-strategy |
新規/更新エンティティの判定方法を指定します。詳しくは各戦略の説明をご覧ください。 |
proxy-configuration-service |
ネットワークリクエストをプロキシするプロキシ構成Controller Serviceを指定します。SOCKS の場合、選択された SOCKS バージョンがプロセッサーで使用されることは保証されません。 |
record-writer |
リストの作成に使用するRecord Writerを指定します。指定しない場合は、リストされたエンティティごとに FlowFile が1つ作成されます。Record Writerを指定すると、個々の FlowFiles に属性を追加する代わりに、すべてのエンティティが単一の FlowFile に書き込まれます。 |
状態管理¶
スコープ |
説明 |
|---|---|
CLUSTER |
ファイルのリストをパフォーマンスした後、最も新しいファイルのタイムスタンプが保存されます。これにより、次回 Processor を実行したときに、この日付以降に追加または変更されたファイルのみがリストされます。状態はクラスタリングに保存され、このプロセッサーがPrimary Nodeで実行されます。新しいプライマリ・ノードが選択された場合、新しいノードはデータを複製することなく、前のノードが停止した場所を引き継ぐことができます。 |
リレーションシップ¶
名前 |
説明 |
|---|---|
success |
受信したすべての FlowFiles は成功にルーティングされます。 |
属性の書き込み¶
名前 |
説明 |
|---|---|
azure.filesystem |
Azure ファイルシステムの名前 |
azure.filePath |
Azure ファイルのフルパス |
azure.directory |
Azureディレクトリの名前 |
azure.filename |
Azure ファイルの名前 |
azure.length |
Azureファイルの長さ |
azure.lastModified |
Azure ファイルの最終更新時刻 |
azure.etag |
Azure ファイルの ETag |