CaptureChangeSqlServer 2025.10.2.19¶
Bundle¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
Beschreibung¶
Reads CDC events from a SQL Server database. The processor periodically queries Change Tracking tables in the database, but only for the tables provided by the TableStateService. The processor maintains a state of the last processed event for each table. The processor moves the position after each processed table. The processor supports multi-threading. The number of threads and connection limit configured in the pool collectively define the upper bound of open connections to the source database. The processor outputs two types of FlowFiles: DDLs, containing the initial schema of a table, and then every time its schema changes, and DMLs, with records representing changes to data in the table. One FlowFile always represents data related to a single table. The DDL with the schema is written to the FlowFile content as a JSON object, in a form such as: { „columns“: [ { „name“: „<columnName>“, „type“: „<snowflakeType>“, „nullable“: <true|false>, „scale“: <scale>, „precision“: <precision> }, … ], „primaryKeys“: [„<primaryKey1>“, „<primaryKey2>“, …] } The DML records are structured as: { „primaryKeys“: { „<column>“: <value>, … }, „payload“: { „<column>“: <value>, … }, „metadata“: { „<column>“: <value>, … }
Eingabeanforderung¶
FORBIDDEN
Unterstützt sensible dynamische Eigenschaften¶
false
Eigenschaften¶
Eigenschaft |
Beschreibung |
|---|---|
Column Filter Store |
Dienst, der die Filtereinstellungen für die einzelnen Tabellenspalten speichert. |
Connection Pool |
Der Verbindungspool |
Fetch Size |
Die maximale Anzahl von Zeilen, die auf einmal in den Speicher geladen werden |
Max Batch Size |
Die maximale Anzahl von Zeilen, die in einem einzigen Batch abgerufen werden |
Record Writer |
Der Record Writer wird für die Serialisierung von DML-Ereignissen verwendet. |
Abfrageintervall für Tabellenänderungen |
Das minimale Zeitintervall, das vergehen muss, bevor die nächste Abfrage für Tabellenänderungen geplant wird. Dies steuert die Häufigkeit des Abfragens der Datenbank, um übermäßige Abfragen zu vermeiden. |
Table State Store |
Der gemeinsam genutzte Speicher, in dem der Status replizierter Tabellen gespeichert ist. |
Statusmanagement¶
Bereiche |
Beschreibung |
|---|---|
CLUSTER |
Informationen, wie eine Version des zuletzt verarbeiteten Datensatzes für jede Tabelle, werden von diesem Prozessor gespeichert, sodass er bei einem Neustart an der gleichen Stelle fortfahren kann. |
Beziehungen¶
Name |
Beschreibung |
|---|---|
success |
Erfolgreich erstelltes FlowFile aus CDC-Stream-Ereignissen |