ListAzureDataLakeStorage 2025.5.31.15¶
バンドル¶
org.apache.nifi | nifi-azure-nar
説明¶
Azure Data Lake Storage Gen 2 ファイルシステム内のディレクトリをリストします。
入力要件¶
FORBIDDEN
機密動的プロパティをサポート¶
false
プロパティ¶
プロパティ |
説明 |
|---|---|
最大ファイル年齢 |
ファイルが引き出されるために必要な最大年齢。（最終更新日付に従って）この時間より古いファイルは無視されます。 |
最大ファイルサイズ |
プルされるファイルの最大サイズ |
最低ファイル年齢 |
ファイルが引き出されるために必要な最低年齢。（最終更新日付に従って）この期間より若いファイルは無視されます。 |
最小ファイルサイズ |
プルされるために必要なファイルの最小サイズ |
adls-credentials-service |
Azure認証情報の取得に使用するController Service。 |
directory-name |
Azure ストレージディレクトリの名前。ディレクトリ名に先頭の「/」を含めることはできません。ルート・ディレクトリは空文字列の値で指定できます。PutAzureDataLakeStorage プロセッサーの場合、ディレクトリがまだ存在しなければ作成されます。 |
et-initial-listing-target |
初回リストの処理方法を指定します。「トラッキングエンティティ」ストラテジーで使用されます。 |
et-state-cache |
リストされたエンティティは指定されたキャッシュストレージに保存され、このプロセッサーは NiFi の再起動時またはプライマリノードの変更時にリストを再開できます。「トラッキングエンティティ」ストラテジーでは、直近の「トラッキングタイムウィンドウ」内にリストされたすべてのエンティティのトラッキング情報が必要です。大容量のエンティティをサポートするために、このストラテジーでは管理状態の代わりに DistributedMapCache を使用します。キャッシュキーの形式は 'ListedEntities::{processorId}(::{nodeId})' です。ノードごとにリストされたエンティティを追跡する場合は、オプションで '::{nodeId}' の部分が追加され、状態を個別に管理します。例: クラスタリング ワイド キャッシュ キー = 'ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b', per node cache key = 'ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b::nifi-node3' 保存されるキャッシュの内容はGzip圧縮された JSON 文字列です。キャッシュ・キーは、ターゲット・リストの構成が変更されると削除されます。「トラッキングエンティティ」ストラテジーで使用されます。 |
et-time-window |
このプロセッサーが、すでにリストされているエンティティを追跡する期間を指定します。「Tracking Entities」ストラテジーは、タイムスタンプが指定したタイムウィンドウ内にあるエンティティを選ぶことができます。例えば、 '30 minutes' にセットすると、このプロセッサーの実行時に、最近30分のタイムスタンプを持つエンティティがリスト・ターゲットになります。リストされたエンティティは「新しい/更新された」とみなされ、以下の条件のいずれかが満たされた場合に FlowFile が発行されます: 1. すでにリストされているエンティティに存在しない、2. キャッシュされているエンティティよりもタイムスタンプが新しい、3. キャッシュされているエンティティとサイズが異なる。キャッシュされたエンティティのタイムスタンプが指定されたウィンドウより古くなると、そのエンティティはキャッシュされた既リストのエンティティから削除されます。「トラッキングエンティティ」ストラテジーで使用されます。 |
file-filter |
指定された正規表現にマッチする名前のファイルだけがリストされます。 |
filesystem-name |
Azure ストレージファイルシステム（コンテナーとも呼ばれる）の名前。すでに存在するものとします。 |
include-temporary-files |
構成されたディレクトリパスの内容をリストする際に、仮のファイルを含めるかどうか。 |
listing-strategy |
新規/更新エンティティの判定方法を指定します。詳しくは各戦略の説明をご覧ください。 |
path-filter |
「サブディレクトリの再帰」が true の場合、与えられた正規表現にマッチするパスを持つ サブディレクトリのみがスキャンされます。 |
proxy-configuration-service |
ネットワークリクエストをプロキシするプロキシ構成Controller Serviceを指定します。SOCKS の場合、選択された SOCKS バージョンがプロセッサーで使用されることは保証されません。 |
record-writer |
リストの作成に使用するRecord Writerを指定します。指定しない場合は、リストされたエンティティごとに FlowFile が1つ作成されます。Record Writerを指定すると、個々の FlowFiles に属性を追加する代わりに、すべてのエンティティが単一の FlowFile に書き込まれます。 |
recurse-subdirectories |
ディレクトリのサブディレクトリのファイルをリストするかどうかを示します。 |
状態管理¶
スコープ |
説明 |
|---|---|
CLUSTER |
ファイルのリストをパフォーマンスした後、最も新しいファイルのタイムスタンプが保存されます。これにより、次回 Processor を実行したときに、この日付以降に追加または変更されたファイルのみがリストされます。状態はクラスタリングに保存され、このプロセッサーがPrimary Nodeで実行されます。新しいプライマリ・ノードが選択された場合、新しいノードはデータを複製することなく、前のノードが停止した場所を引き継ぐことができます。 |
リレーションシップ¶
名前 |
説明 |
|---|---|
success |
受信したすべての FlowFiles は成功にルーティングされます。 |
属性の書き込み¶
名前 |
説明 |
|---|---|
azure.filesystem |
Azure ファイルシステムの名前 |
azure.filePath |
Azure ファイルのフルパス |
azure.directory |
Azureディレクトリの名前 |
azure.filename |
Azure ファイルの名前 |
azure.length |
Azureファイルの長さ |
azure.lastModified |
Azure ファイルの最終更新時刻 |
azure.etag |
Azure ファイルの ETag |