ChunkText 2025.5.31.15¶

チャンク 区切り記号

Specifies a comma-separated list of character sequences. Meta-characters n, r and t are automatically un-escaped. Delimiters are recursively applied in order to chunk the text.

チャンク ストラテジー

テキストをチャンクするストラテジー。「再帰的区切り文字」は、文字による再帰的分割アルゴリズムに従ってテキストをチャンクします。このアルゴリズムでは、入力テキストは最初の区切り文字で分割され、「最大チャンク長」を超えないチャンクにマージされます。「最大チャンク長」を超える分割は、次の区切り文字を使用して再帰的に分割されます。「Max Chunk Length」は、「Max Chunk Length」サイズのチャンクを作成してテキストをチャンクします。

最大チャンク長

出力チャンクに含める最大文字数。この数値を高くセットしすぎると、メモリ不足エラーになることがあります。

ホワイトスペースのトリミング

出力テキストチャンクを囲む空白をトリミングします。

original

入力されたフローファイルは、元のリレーションシップにルーティングされます。

セグメント.オリジナル.ファイル名

入力フローファイルのオリジナルファイル名。

フラグメント.インデックス

0から始まる現在のフローファイルのチャンクのインデックス。

チャンク.スタート.オフセット

chunk.start.offsets属性は、オリジナルの受信 FlowFile にのみ追加されます。これは、生成される各チャンクの開始オフセットをカンマで区切ったリストです。例えば、 FlowFile が3つの子 FlowFiles にチャンクされている場合、 0,183,365 という値を持つかもしれません。これは、最初のチャンクがオフセット0から始まり、2番目のチャンクがオフセット183から始まり、3番目のチャンクがオフセット365から始まることを示します。オフセットは文字数で決まります。

チャンク.ストラテジー

テキストをチャンクするためのストラテジー。'Max Chunk Length'、'Recursive Delimiters'、'Sentence'、'Semantic' のいずれか。

チャンク.言語

文の解析に使用される言語。この属性は「文」または「意味」のチャンク戦略を使用する場合にのみ追加されます。

チャンク.最大.文字数

各チャンクに含める最大文字数。