ListSFTP 2025.5.31.15

バンドル

org.apache.nifi | nifi-standard-nar

説明

SFTP サーバーに存在するファイルのリストをパフォーマンスします。リモート・サーバー上で見つかったファイルごとに、ファイル名属性にリモート・サーバー上のファイル名をセットした新しい FlowFile が作成されます。これは、 FetchSFTP と組み合わせて使用することで、これらのファイルを取得することができます。

タグ

ファイル、インジェスト、入力、リスト、リモート、sftp、ソース

入力要件

FORBIDDEN

機密動的プロパティをサポート

false

プロパティ

プロパティ

説明

許可される暗号

SFTP 接続で許可される暗号のカンマ区切りリスト。すべて許可する場合は未設定のままにします。利用可能 オプションは以下の通りです。3des-cbc、3des-ctr、aes128-cbc、aes128-ctr、aes128-gcm@openssh.com、aes192-cbc、aes192-ctr、aes256-cbc、aes256-ctr、aes256-gcm@openssh.com、arcfour、arcfour128、arcfour256、blowfish-cbc、blowfish-ctr、cast128-cbc、cast128-ctr、chacha20-poly1305@openssh.com、idea-cbc、idea-ctr、serpent128-cbc、serpent128-ctr、serpent192-cbc、serpent192-ctr、serpent256-cbc、serpent256-ctr、twofish-cbc、twofish128-cbc、twofish128-ctr、twofish192-cbc、twofish192-ctr、twofish256-cbc、twofish256-ctr

接続タイムアウト

接続作成中にタイムアウトするまでの待機時間

データタイムアウト

ローカルとリモートのシステム間でファイルを転送する場合、この値はシステム間でデータが転送されずに経過する時間を指定します。

ファイルフィルター正規表現

フィルターが指定された場合、そのJava正規表現にマッチする名前のファイルのみが取得されます。フィルターが提供されている場合、フェッチされる正規表現に名前が一致するファイルだけです。

ホストキーファイル

提供されている場合、与えられたファイルがホストキーとして使用されます。そうでない場合、'Strict Host Key Checking' プロパティが適用されている (true にセットされている) 場合、~/.ssh ディレクトリの 'known_hosts' および 'known_hosts2' ファイルを使用します。

ホスト名

リモートシステムの完全修飾ホスト名または IP アドレス。

ドット付きファイルの無視

true の場合、ファイル名がドット (".") で始まるファイルは無視されます。

許可されるキーアルゴリズム

SFTP 接続で許可されるキーアルゴリズムのカンマ区切りリスト。すべて許可する場合は未設定のままにします。利用可能 オプションは次のとおりです。 ecdsa-sha2-nistp256、ecdsa-sha2-nistp256-cert-v01@openssh.com、ecdsa-sha2-nistp384、ecdsa-sha2-nistp384-cert-v01@openssh.com、ecdsa-sha2-nistp521、ecdsa-sha2-nistp521-cert-v01@openssh.com、rsa-sha2-256、rsa-sha2-512、ssh-dss、ssh-dss-cert-v01@openssh.com、ssh-ed25519、ssh-ed25519-cert-v01@openssh.com、ssh-rsa、ssh-rsa-cert-v01@openssh.com

許可されるキー交換アルゴリズム

SFTP 接続で許可されるキー交換アルゴリズムのカンマ区切りリスト。すべて許可する場合は未設定のままにします。利用可能 オプションは以下の通りです。 curve25519-sha256、curve25519-sha256@libssh.org、diffie-hellman-group-exchange-sha1、diffie-hellman-group-exchange-sha256、diffie-hellman-group1-sha1、diffie-hellman-group14-sha1、diffie-hellman-group14-sha256、diffie-hellman-group14-sha256@ssh.com、diffie-hellman-group15-sha256、diffie-hellman-group15-sha256@ssh.comdiffie-hellman-group15-sha384@ssh.com、diffie-hellman-group15-ha512、diffie-hellman-group16-ha256、diffie-hellman-group16-sha384@ssh.com、diffie-hellman-group16-ha512、diffie-hellman-group16-sha512@ssh.com、diffie-hellman-group17-ha512、diffie-hellman-group18-ha512、diffie-hellman-group18-sha512@ssh.com、ecdh-ha2-nistp256、ecdh-ha2-nistp384、ecdh-ha2-nistp521、ext-info-c

最大ファイル年齢

ファイルが引き出されるために必要な最大年齢。(最終更新日付に従って)この時間より古いファイルは無視されます。

最大ファイルサイズ

プルされるファイルの最大サイズ

許可されるメッセージ認証コード

SFTP 接続で許可されるメッセージ認証コードのカンマ区切りリスト。すべて許可する場合は未設定のままにします。利用可能なオプション配下の通りです。hmac-md5、hmac-md5-96、hmac-md5-96-etm@openssh.comhmac-md5-etm@openssh.com、hmac-ripemd160、hmac-ripemd160-96、hmac-ripemd160-etm@openssh.comhmac-ripemd160@openssh.com、hmac-sha1、hmac-sha1-96、hmac-sha1-96@openssh.comhmac-sha1-etm@openssh.com、hmac-sha2-256、hmac-sha2-256-etm@openssh.com、hmac-sha2-512、hmac-sha2-512-etm@openssh.com

最低ファイル年齢

ファイルが引き出されるために必要な最低年齢。(最終更新日付に従って)この期間より若いファイルは無視されます。

最小ファイルサイズ

プルされるために必要なファイルの最小サイズ

パスワード

ユーザーアカウントのパスワード

パスフィルター正規表現

再帰検索が true の場合、与えられた正規表現にパスが一致する サブディレクトリのみがスキャンされます。

ポート

リモートシステムがファイル転送のためにリッスンしているポート。

秘密キーパスフレーズ

秘密キーのパスワード

秘密キーパス

秘密キーファイルへの許可された完全パス。

リモートパス

ファイルをプルまたはプッシュするリモートシステム上のパス。

再帰検索

trueの場合、任意にネストされたサブディレクトリからファイルを取り出します。それ以外の場合、サブディレクトリをトラバースしません。

タイムアウト時にキープアライブを送信

最大5回まで5秒ごとにKeep Aliveメッセージを送信し、全体のタイムアウトは25秒です。

厳格なホスト・キー・チェック

ホストキーの厳格な適用を行うかどうかを示します。

コンプレッションの使用

ファイル転送時に ZLIB 圧縮を使用するかどうかを示します。

ユーザー名

ユーザー名

et-initial-listing-target

初回リストの処理方法を指定します。「トラッキングエンティティ」ストラテジーで使用されます。

et-state-cache

リストされたエンティティは指定されたキャッシュストレージに保存され、このプロセッサーは NiFi の再起動時またはプライマリノードの変更時にリストを再開できます。「トラッキングエンティティ」ストラテジーでは、直近の「トラッキングタイムウィンドウ」内にリストされたすべてのエンティティのトラッキング情報が必要です。大容量のエンティティをサポートするために、このストラテジーでは管理状態の代わりに DistributedMapCache を使用します。キャッシュキーの形式は 'ListedEntities::{processorId}(::{nodeId})' です。ノードごとにリストされたエンティティを追跡する場合は、オプションで '::{nodeId}' の部分が追加され、状態を個別に管理します。例: クラスタリング ワイド キャッシュ キー = 'ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b', per node cache key = 'ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b::nifi-node3' 保存されるキャッシュの内容はGzip圧縮された JSON 文字列です。キャッシュ・キーは、ターゲット・リストの構成が変更されると削除されます。「トラッキングエンティティ」ストラテジーで使用されます。

et-time-window

このプロセッサーが、すでにリストされているエンティティを追跡する期間を指定します。「Tracking Entities」ストラテジーは、タイムスタンプが指定したタイムウィンドウ内にあるエンティティを選ぶことができます。例えば、 '30 minutes' にセットすると、このプロセッサーの実行時に、最近30分のタイムスタンプを持つエンティティがリスト・ターゲットになります。リストされたエンティティは「新しい/更新された」とみなされ、以下の条件のいずれかが満たされた場合に FlowFile が発行されます: 1. すでにリストされているエンティティに存在しない、2. キャッシュされているエンティティよりもタイムスタンプが新しい、3. キャッシュされているエンティティとサイズが異なる。キャッシュされたエンティティのタイムスタンプが指定されたウィンドウより古くなると、そのエンティティはキャッシュされた既リストのエンティティから削除されます。「トラッキングエンティティ」ストラテジーで使用されます。

follow-symlink

trueの場合、シンボリックファイルとネストされたシンボリックサブディレクトリも読み込みます。それ以外の場合は、シンボリックファイルを読み込まず、シンボリック リンク サブディレクトリをトラバースしません。

listing-strategy

新規/更新エンティティの判定方法を指定します。詳しくは各戦略の説明をご覧ください。

proxy-configuration-service

ネットワークリクエストをプロキシするプロキシ構成Controller Serviceを指定します。

record-writer

リストの作成に使用するRecord Writerを指定します。指定しない場合は、リストされたエンティティごとに FlowFile が1つ作成されます。Record Writerを指定すると、個々の FlowFiles に属性を追加する代わりに、すべてのエンティティが単一の FlowFile に書き込まれます。

target-system-timestamp-precision

ターゲットシステムでのタイムスタンプ精度を指定します。このプロセッサーは、エンティティのタイムスタンプを使用してリストを決定するため、正しいタイムスタンプ精度を使用することが重要です。

状態管理

スコープ

説明

CLUSTER

ファイルのリストをパフォーマンスした後、最も新しいファイルのタイムスタンプが保存されます。これにより、次回 Processor を実行したときに、この日付以降に追加または変更されたファイルのみがリストされます。状態はクラスタリングに保存され、このプロセッサーがプライマリ・ノードで実行されます。新しいプライマリ・ノードが選択された場合、新しいノードが前のプライマリ・ノードによってリストされたデータを複製することはありません。

リレーションシップ

名前

説明

success

受信したすべての FlowFiles は成功にルーティングされます。

属性の書き込み

名前

説明

sftp.remote.host

SFTP サーバーのホスト名。

sftp.remote.port

SFTP サーバーで接続されたポート。

sftp.listing.user

SFTP リストを実行したユーザーのユーザー名。

file.owner

ソース・ファイルの数値所有者ID

file.group

ソースファイルの数値グループID

file.permissions

ソースファイルの読み取り/書き込み/実行パーミッション

file.size

ソースファイルのバイト数

file.lastModifiedTime

ファイルシステム内のファイルが最後に変更されたときのタイムスタンプを 'yyyy-MM-dd'T'HH:mm:ssZ' として返します。

filename

SFTP サーバー上のファイル名

path

ファイルが取り出された SFTP Server 上のディレクトリの完全修飾名。

mime.type

構成されたRecord Writerが提供する MIME タイプ。

こちらもご覧ください