CaptureChangeSqlServer 2025.10.2.19

Bundle

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

Beschreibung

Reads CDC events from a SQL Server database. The processor periodically queries Change Tracking tables in the database, but only for the tables provided by the TableStateService. The processor maintains a state of the last processed event for each table. The processor moves the position after each processed table. The processor supports multi-threading. The number of threads and connection limit configured in the pool collectively define the upper bound of open connections to the source database. The processor outputs two types of FlowFiles: DDLs, containing the initial schema of a table, and then every time its schema changes, and DMLs, with records representing changes to data in the table. One FlowFile always represents data related to a single table. The DDL with the schema is written to the FlowFile content as a JSON object, in a form such as: { „columns“: [ { „name“: „<columnName>“, „type“: „<snowflakeType>“, „nullable“: <true|false>, „scale“: <scale>, „precision“: <precision> }, … ], „primaryKeys“: [„<primaryKey1>“, „<primaryKey2>“, …] } The DML records are structured as: { „primaryKeys“: { „<column>“: <value>, … }, „payload“: { „<column>“: <value>, … }, „metadata“: { „<column>“: <value>, … }

Tags

cdc, event, jdbc, sql, sql server

Eingabeanforderung

FORBIDDEN

Unterstützt sensible dynamische Eigenschaften

false

Eigenschaften

Eigenschaft

Beschreibung

Column Filter Store

Dienst, der die Filtereinstellungen für die einzelnen Tabellenspalten speichert.

Connection Pool

Der Verbindungspool

Fetch Size

Die maximale Anzahl von Zeilen, die auf einmal in den Speicher geladen werden

Max Batch Size

Die maximale Anzahl von Zeilen, die in einem einzigen Batch abgerufen werden

Record Writer

Der Record Writer wird für die Serialisierung von DML-Ereignissen verwendet.

Abfrageintervall für Tabellenänderungen

Das minimale Zeitintervall, das vergehen muss, bevor die nächste Abfrage für Tabellenänderungen geplant wird. Dies steuert die Häufigkeit des Abfragens der Datenbank, um übermäßige Abfragen zu vermeiden.

Table State Store

Der gemeinsam genutzte Speicher, in dem der Status replizierter Tabellen gespeichert ist.

Statusmanagement

Bereiche

Beschreibung

CLUSTER

Informationen, wie eine Version des zuletzt verarbeiteten Datensatzes für jede Tabelle, werden von diesem Prozessor gespeichert, sodass er bei einem Neustart an der gleichen Stelle fortfahren kann.

Beziehungen

Name

Beschreibung

success

Erfolgreich erstelltes FlowFile aus CDC-Stream-Ereignissen