GrokReader¶
説明¶
ログファイルなどの非構造化テキストデータを読み取り、処理できるようにデータを構造化するメカニズムを提供します。サービスはGrokパターンを使用して構成されます。このサービスはデータのストリームから読み取り、見つけた各メッセージを、構成されたフィールドを含む別々のRecordに分割します。入力中の行が期待されるメッセージパターンと一致しない場合、スタックトレースを除いて、構成に応じて、その行のテキストは前のメッセージの一部とみなされるか、スキップされます。ログメッセージの最後に見つかったスタックトレースは、前のメッセージの一部とみなされますが、Recordの 'stackTrace' フィールドに追加されます。記録にスタックトレースがない場合、stackTrace フィールドには NULL の値が設定されます (スキーマに実際に文字列タイプの stackTrace フィールドが含まれていると仮定)。スキーマに文字列タイプの '_raw' フィールドが含まれている場合、生のメッセージがレコードに含まれます。
プロパティ¶
以下のリストでは、必要なプロパティをアスタリスク (*) で表示しています。その他のプロパティはオプションと見なされます。この表は、任意のデフォルト値と、そのプロパティが NiFi 式言語に対応しているかどうかも示します。
表示名 |
API 名前 |
デフォルト値 |
許容値 |
説明 |
|---|---|---|---|---|
Grok 式 * |
Grok 式 |
Grok形式のログ行の形式を指定します。これにより、Record Readerは各ログ行の解析方法を理解することができます。このプロパティは、1 つ以上の Grok 式をサポートします。ログファイル内の行がどの式にも一致しない場合、その行は前のログメッセージに属すると見なされます。この式によって他の Grok パターンが参照される場合、Grok Pattern File プロパティでそれらのパターンを提供する必要があります。 |
||
Grok パターン |
Grok パターンファイル |
ログの解析に使用するGrokパターン。指定しない場合は、内蔵のデフォルトパターンファイルが使用されます。指定された場合、指定されたすべてのパターンがデフォルトのパターンを上書きします。定義済みパターンのリストについては、Controller Service の Additional Details をご参照ください。 |
||
マッチしない動作 * |
no-match-behavior |
append-to-previous-message |
|
テキスト行が発生し、それが指定された Grok 式に一致せず、スタック・トレースの一部でない場合、このプロパティは、テキストがどのように処理されるべきかを指定します。 |
スキーマアクセス戦略 * |
schema-access-strategy |
string-fields-from-grok-expression |
|
データの解釈に使用するスキーマの取得方法を指定します。 |
スキーマ支店 |
schema-branch |
スキーマ・レジストリのプロパティでスキーマを検索する際に使用するブランチの名前を指定します。選択したスキーマ・レジストリが分岐をサポートしていない場合、この値は無視されます。 |
||
スキーマ名 |
schema-name |
${schema.name} |
スキーマ・レジストリのプロパティで検索するスキーマの名前を指定します。 |
|
スキーマ リファレンス リーダー * |
schema-reference-reader |
FlowFile 属性またはコンテンツを読み取ってスキーマ参照識別子を決定する責任を負うサービス実装。 |
||
スキーマレジストリ |
schema-registry |
スキーマレジストリで使用するController Serviceを指定します。 |
||
スキーマテキスト |
schema-text |
${avro.schema} |
Avro形式のスキーマのテキスト |
|
スキーマバージョン |
schema-version |
スキーマ・レジストリで検索するスキーマのバージョンを指定します。指定しない場合は、スキーマの最新バージョンが取得されます。 |
状態管理¶
このコンポーネントは状態を保存しません。
制限あり¶
制限事項¶
必要な許可 |
説明 |
|---|---|
リファレンス リモート リソース |
パターンと式は、 HTTP のリソースをリファレンスすることができます。 |
システムリソースに関する考察¶
このコンポーネントは、システムリソースを考慮したものではありません。