CaptureChangeSqlServer 2025.5.31.15

Bundle

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

Beschreibung

Liest CDC-Ereignisse aus einer SQL-Server-Datenbank. Der Prozessor fragt in regelmäßigen Abständen die Change Tracking-Tabellen in der Datenbank ab, aber nur für die Tabellen, die von TableStateServicezur bereitgestellt werden. Der Prozessor behält den Status des letzten verarbeiteten Ereignisses für jede Tabelle bei. Der Prozessor verschiebt die Position nach jeder verarbeiteten Tabelle. Der Prozessor unterstützt Multi-Threading. Die Anzahl der Threads und die maximale Anzahl der Verbindungen, die im Pool konfiguriert sind, definieren zusammen die Obergrenze der offenen Verbindungen zur Quelldatenbank. Der Prozessor gibt zwei Arten von FlowFiles aus: DDLs, die das ursprüngliche Schema und ein neues Schema bei jeder Schemaänderung enthalten, und DMLs mit Datensätzen, die Änderungen an den Daten in der Tabelle darstellen. Ein FlowFile repräsentiert immer Daten, die sich auf eine einzige Tabelle beziehen. Die DDL mit dem Schema wird als JSON-Objekt in den FlowFile-Inhalt geschrieben, in einer Form wie:{ „columns“: [ { „name“: „<columnName>“, „type“: „<snowflakeType>“, „nullable“: <true|false>, „scale“: <scale>, „precision“: <precision> }, … ], „primaryKeys“: [„<primaryKey1>“, „<primaryKey2>“, …]}. Die DML Datensätze sind wie folgt aufgebaut:{ „primaryKeys“: { „<column>“: <value>, … }, „payload“: { „<column>“: <value>, … }, „metadata“: { „<column>“: <value>, … }}

Tags

cdc, event, jdbc, sql, sql server

Eingabeanforderung

FORBIDDEN

Unterstützt sensible dynamische Eigenschaften

false

Eigenschaften

Eigenschaft

Beschreibung

Column Filter Store

Dienst, der die Filtereinstellungen für die einzelnen Tabellenspalten speichert.

Connection Pool

Der Verbindungspool

Fetch Size

Die maximale Anzahl von Zeilen, die auf einmal in den Speicher geladen werden

Max Batch Size

Die maximale Anzahl von Zeilen, die in einem einzigen Batch abgerufen werden

Record Writer

Der Record Writer wird für die Serialisierung von DML-Ereignissen verwendet.

Table State Store

Der gemeinsam genutzte Speicher, in dem der Status replizierter Tabellen gespeichert ist.

Statusmanagement

Bereiche

Beschreibung

CLUSTER

Informationen, wie eine Version des zuletzt verarbeiteten Datensatzes für jede Tabelle, werden von diesem Prozessor gespeichert, sodass er bei einem Neustart an der gleichen Stelle fortfahren kann.

Beziehungen

Name

Beschreibung

success

Erfolgreich erstelltes FlowFile aus CDC-Stream-Ereignissen