CaptureChangePostgreSQL 2025.10.2.19¶
번들¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
설명¶
Reads CDC events from a PostgreSQL database. The processor continuously reads events arriving in the stream, filtering for those related to tables provided by the TableStateService, and discarding the rest. After the current batch of events is processed, the processor confirms the replication slot position back to PostgreSQL, letting it trim the WAL. The processor outputs two types of FlowFiles: DDLs, containing the initial schema of a table, and then every time its schema changes, and DMLs, with records representing changes to data in the table. One FlowFile always represents data related to a single table. The DDL with the schema is written to the FlowFile content as a JSON object, in a form such as: { “columns”: [ { “name”: “<columnName>”, “type”: “<snowflakeType>”, “nullable”: <true|false>, “scale”: <scale>, “precision”: <precision> }, … ], “primaryKeys”: [“<primaryKey1>”, “<primaryKey2>”, …] } The DML records are structured as: { “primaryKeys”: { “<column>”: <value>, … }, “payload”: { “<column>”: <value>, … }, “metadata”: { “<column>”: <value>, … }
입력 요구 사항¶
FORBIDDEN
민감한 동적 속성 지원¶
false
속성¶
속성 |
설명 |
|---|---|
열 필터 저장소ㄴ |
테이블별 열 필터링 설정을 저장하는 서비스입니다. |
JDBC Driver Location |
쉼표로 구분된 파일/폴더 목록 및/또는 URLs 드라이버 JAR 및 종속성(있는 경우)이 포함된 목록입니다. 예: ‘/var/tmp/postgresql-java-client-42.7.5.jar’ |
JDBC URL |
데이터베이스 연결의 JDBC URL, 예: jdbc:postgresql://localhost:5432/postgres |
Max Batch Size |
단일 반복에서 처리할 최대 레코드 수 |
Max Batch Wait Time |
CDC 에서 스트림에 데이터가 표시될 때까지 대기할 수 있는 최대 시간입니다. |
비밀번호 |
PostgreSQL 데이터베이스에 액세스하기 위한 비밀번호 |
Publication Name |
읽을 CDC 게시의 이름입니다. |
Record Writer |
Record Writer는 DML 이벤트를 직렬화하는 데 사용됩니다 |
Replication Slot Name |
사용할 복제 슬롯의 이름입니다. 최대 63자입니다. 슬롯이 없으면 프로세서가 슬롯을 생성합니다. |
SSL 컨텍스트 서비스 |
암호화된 소켓 통신을 지원하는 SSL 컨텍스트 서비스 |
SSL Mode |
PostgreSQL 에 연결할 때 SSL 사용 및 강제 적용 여부 |
TOASTed 값 자리 표시자 |
TOASTed 열에 넣을 값입니다. |
TOASTed 값 전략 |
TOASTed 값을 처리하는 방법을 결정합니다. |
Table State Store |
복제된 테이블의 상태를 보관하는 공유 저장소입니다. |
사용자 이름 |
PostgreSQL 데이터베이스에 액세스하기 위한 사용자 이름 |
상태 관리¶
범위 |
설명 |
|---|---|
CLUSTER |
데이터베이스의 현재 CDC 이벤트에 대한 ‘포인터’와 같은 정보는 이 프로세서에 저장되어 다시 시작하면 동일한 위치에서 계속할 수 있으며 PostgreSQL 에 생성된 복제 슬롯의 이름도 저장됩니다. |
관계¶
이름 |
설명 |
|---|---|
성공 |
CDC 스트림 이벤트에서 FlowFile 을 성공적으로 생성했습니다 |
Writes 특성¶
이름 |
설명 |
|---|---|
source.schema.name |
이벤트가 발생한 테이블의 스키마 이름 |
source.table.name |
이벤트가 발생한 테이블의 이름 |
cdc.event.type |
Type of event carried by the FlowFile: ddl or dml |
cdc.most.significant.position |
ddl 스트림에서 가장 중요한 ddl의 위치 |
cdc.least.significant.position |
디렉터리 스트림에서 ddl의 가장 중요하지 않은 위치 |
cdc.event.seen.at |
프로세서가 ddl 이벤트를 읽은 시간으로부터의 타임스탬프 |