CaptureChangeSqlServer 2025.10.2.19¶
Bundle¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
Beschreibung¶
Liest CDC-Ereignisse aus einer SQL-Serverdatenbank. Der Prozessor fragt regelmäßig Änderungsverfolgungstabellen in der Datenbank ab, aber nur für die Tabellen, die von TableStateService bereitgestellt werden. Der Prozessor verwaltet einen Status des letzten verarbeiteten Ereignisses für jede Tabelle. Der Prozessor verschiebt die Position nach jeder verarbeiteten Tabelle. Der Prozessor unterstützt Multithreading. Die Anzahl der im Pool konfigurierten Threads und das Verbindungslimit definieren zusammen die obere Grenze der offenen Verbindungen zur Quelldatenbank. Der Prozessor gibt zwei Arten von FlowFiles aus: DDLs, die das anfängliche Schema einer Tabelle enthalten, und jedes Mal, wenn sich das Schema ändert, und DMLs mit Datensätzen, die Änderungen an Daten in der Tabelle darstellen. Ein FlowFile steht immer für Daten, die sich auf eine einzelne Tabelle beziehen. Die DDL mit dem Schema wird in den FlowFile-Inhalt als JSON-Objekt geschrieben: { „columns“: [ { „name“: „<columnName>“, „type“: „<snowflakeType>“, „nullable“: <true|false>, „scale“: <scale>, „precision“: <precision> }, … ], „primaryKeys“: [„<primaryKey1>“, „<primaryKey2>“, …] } Die DML-Datensätze sind wie folgt strukturiert: { „primaryKeys“: { „<column>“: <value>, … }, „payload“: { „<column>“: <value>, … }, „metadata“: { „<column>“: <value>, … }
Eingabeanforderung¶
FORBIDDEN
Unterstützt sensible dynamische Eigenschaften¶
false
Eigenschaften¶
Eigenschaft |
Beschreibung |
|---|---|
Column Filter Store |
Dienst, der die Filtereinstellungen für die einzelnen Tabellenspalten speichert. |
Connection Pool |
Der Verbindungspool |
Fetch Size |
Die maximale Anzahl von Zeilen, die auf einmal in den Speicher geladen werden |
Max Batch Size |
Die maximale Anzahl von Zeilen, die in einem einzigen Batch abgerufen werden |
Record Writer |
Der Record Writer wird für die Serialisierung von DML-Ereignissen verwendet. |
Abfrageintervall für Tabellenänderungen |
Das minimale Zeitintervall, das vergehen muss, bevor die nächste Abfrage für Tabellenänderungen geplant wird. Dies steuert die Häufigkeit des Abfragens der Datenbank, um übermäßige Abfragen zu vermeiden. |
Table State Store |
Der gemeinsam genutzte Speicher, in dem der Status replizierter Tabellen gespeichert ist. |
Statusmanagement¶
Bereiche |
Beschreibung |
|---|---|
CLUSTER |
Informationen, wie eine Version des zuletzt verarbeiteten Datensatzes für jede Tabelle, werden von diesem Prozessor gespeichert, sodass er bei einem Neustart an der gleichen Stelle fortfahren kann. |
Beziehungen¶
Name |
Beschreibung |
|---|---|
success |
Erfolgreich erstelltes FlowFile aus CDC-Stream-Ereignissen |