EnrichCdcStream 2025.5.31.15

バンドル

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

説明

CaptureChangePostgreSQL などから入ってくる FlowFiles に、どのジャーナル・テーブルに書き込むかに関する情報と、関連するスキーマ情報を付加します。このプロセッサーは、処理される各テーブルのスキーマ・バージョンを管理し、 FlowFile ごとに正しいジャーナル・テーブルが使用されるようにします。

タグ

入力要件

REQUIRED

機密動的プロパティをサポート

false

プロパティ

プロパティ

説明

CDC スキーマレジストリ

CDC データのスキーマ管理に使用する CDC スキーマレジストリを指定します。

Record Reader

受信データの読み取りに使用するRecord Readerを指定します。

Record Writer

送信データの書き込みに使用するRecord Writerを指定します。

テーブル状態サービス

複製テーブルの状態を保持

状態管理

スコープ

説明

CLUSTER

処理中の各テーブルの現在のジャーナル・テーブル・バージョンを追跡します。

リレーションシップ

名前

説明

failure

FlowFile が読み取れない場合は、この Relationship にルーティングされます。

スキーマ更新

受信記録を処理するためにスキーマの更新が必要な場合、 FlowFile がこのリレーションシップにルーティングされます。FlowFile には、どのような変更が必要かを示すスキーマ情報が含まれます。

スキップされたddlイベント

このリレーションシップは、デスティネーション・テーブルのスキーマを変更しない DDL / スキーマ変更イベントに使用されます。

success

Snowflakeテーブルに挿入される行は、このリレーションシップにルーティングされます。

状態にないテーブル

FlowFile は、複製されたテーブルの状態に存在しないテーブルをリファレンスする場合に使用されます(おそらく複製から削除された後)。

属性の書き込み

名前

説明

table.schema.generation

インクリメンタル処理用のジャーナル・テーブルのインデックス。

table.schema.initial

ジャーナル・テーブルの初期生成を示します。

destination.table.schema

宛先テーブルの更新スキーマ。この属性は DDL イベントに対してのみ記述されます。

こちらもご覧ください