CaptureChangeSqlServer 2025.10.2.19

번들

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

설명

Reads CDC events from a SQL Server database. The processor periodically queries Change Tracking tables in the database, but only for the tables provided by the TableStateService. The processor maintains a state of the last processed event for each table. The processor moves the position after each processed table. The processor supports multi-threading. The number of threads and connection limit configured in the pool collectively define the upper bound of open connections to the source database. The processor outputs two types of FlowFiles: DDLs, containing the initial schema of a table, and then every time its schema changes, and DMLs, with records representing changes to data in the table. One FlowFile always represents data related to a single table. The DDL with the schema is written to the FlowFile content as a JSON object, in a form such as: { “columns”: [ { “name”: “<columnName>”, “type”: “<snowflakeType>”, “nullable”: <true|false>, “scale”: <scale>, “precision”: <precision> }, … ], “primaryKeys”: [“<primaryKey1>”, “<primaryKey2>”, …] } The DML records are structured as: { “primaryKeys”: { “<column>”: <value>, … }, “payload”: { “<column>”: <value>, … }, “metadata”: { “<column>”: <value>, … }

태그

cdc, event, jdbc, sql, sql server

입력 요구 사항

FORBIDDEN

민감한 동적 속성 지원

false

속성

속성

설명

열 필터 저장소ㄴ

테이블별 열 필터링 설정을 저장하는 서비스입니다.

Connection Pool

연결 풀

Fetch Size

한 번에 메모리에 로딩되는 최대 행 수입니다

Max Batch Size

단일 배치에서 가져올 최대 행 수입니다

Record Writer

Record Writer는 DML 이벤트를 직렬화하는 데 사용됩니다

테이블 변경 사항 쿼리 간격

테이블 변경 사항에 대한 다음 쿼리를 예약하기 전에 경과해야 하는 최소 시간 간격입니다. 이 속성은 과도한 쿼리를 방지하기 위해 데이터베이스 폴링 빈도를 제어합니다.

Table State Store

복제된 테이블의 상태를 보관하는 공유 저장소입니다.

상태 관리

범위

설명

CLUSTER

각 테이블에 대해 마지막으로 처리된 레코드의 버전과 같은 정보가 이 프로세서에 저장되므로 다시 시작하면 동일한 위치에서 계속할 수 있습니다.

관계

이름

설명

성공

CDC 스트림 이벤트에서 FlowFile 을 성공적으로 생성했습니다