CaptureChangeSqlServer 2025.10.2.19¶
번들¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
설명¶
Reads CDC events from a SQL Server database. The processor periodically queries Change Tracking tables in the database, but only for the tables provided by the TableStateService. The processor maintains a state of the last processed event for each table. The processor moves the position after each processed table. The processor supports multi-threading. The number of threads and connection limit configured in the pool collectively define the upper bound of open connections to the source database. The processor outputs two types of FlowFiles: DDLs, containing the initial schema of a table, and then every time its schema changes, and DMLs, with records representing changes to data in the table. One FlowFile always represents data related to a single table. The DDL with the schema is written to the FlowFile content as a JSON object, in a form such as: { “columns”: [ { “name”: “<columnName>”, “type”: “<snowflakeType>”, “nullable”: <true|false>, “scale”: <scale>, “precision”: <precision> }, … ], “primaryKeys”: [“<primaryKey1>”, “<primaryKey2>”, …] } The DML records are structured as: { “primaryKeys”: { “<column>”: <value>, … }, “payload”: { “<column>”: <value>, … }, “metadata”: { “<column>”: <value>, … }
입력 요구 사항¶
FORBIDDEN
민감한 동적 속성 지원¶
false
속성¶
속성 |
설명 |
|---|---|
열 필터 저장소ㄴ |
테이블별 열 필터링 설정을 저장하는 서비스입니다. |
Connection Pool |
연결 풀 |
Fetch Size |
한 번에 메모리에 로딩되는 최대 행 수입니다 |
Max Batch Size |
단일 배치에서 가져올 최대 행 수입니다 |
Record Writer |
Record Writer는 DML 이벤트를 직렬화하는 데 사용됩니다 |
테이블 변경 사항 쿼리 간격 |
테이블 변경 사항에 대한 다음 쿼리를 예약하기 전에 경과해야 하는 최소 시간 간격입니다. 이 속성은 과도한 쿼리를 방지하기 위해 데이터베이스 폴링 빈도를 제어합니다. |
Table State Store |
복제된 테이블의 상태를 보관하는 공유 저장소입니다. |
상태 관리¶
범위 |
설명 |
|---|---|
CLUSTER |
각 테이블에 대해 마지막으로 처리된 레코드의 버전과 같은 정보가 이 프로세서에 저장되므로 다시 시작하면 동일한 위치에서 계속할 수 있습니다. |
관계¶
이름 |
설명 |
|---|---|
성공 |
CDC 스트림 이벤트에서 FlowFile 을 성공적으로 생성했습니다 |