CaptureChangeSqlServer 2025.10.2.19¶
Bundle¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
Description¶
Reads CDC events from a SQL Server database. The processor periodically queries Change Tracking tables in the database, but only for the tables provided by the TableStateService. The processor maintains a state of the last processed event for each table. The processor moves the position after each processed table. The processor supports multi-threading. The number of threads and connection limit configured in the pool collectively define the upper bound of open connections to the source database. The processor outputs two types of FlowFiles: DDLs, containing the initial schema of a table, and then every time its schema changes, and DMLs, with records representing changes to data in the table. One FlowFile always represents data related to a single table. The DDL with the schema is written to the FlowFile content as a JSON object, in a form such as: { « columns »: [ { « name »: « <columnName> », « type »: « <snowflakeType> », « nullable »: <true|false>, « scale »: <scale>, « precision »: <precision> }, … ], « primaryKeys »: [« <primaryKey1> », « <primaryKey2> », …] } The DML records are structured as: { « primaryKeys »: { « <column> »: <value>, … }, « payload »: { « <column> »: <value>, … }, « metadata »: { « <column> »: <value>, … }
Exigences en matière d’entrées¶
FORBIDDEN
Prend en charge les propriétés dynamiques sensibles¶
false
Propriétés¶
Propriété |
Description |
|---|---|
Column Filter Store |
Service de stockage des paramètres de filtrage des colonnes par table. |
Connection Pool |
Le pool de connexions |
Fetch Size |
Nombre maximal de lignes chargées simultanément dans la mémoire |
Max Batch Size |
Nombre maximal de lignes à extraire en un seul lot |
Record Writer |
Le Record Writer est utilisé pour sérialiser les événements DML |
Intervalle de requête des modifications de la table |
L’intervalle de temps minimum qui doit s’écouler avant de planifier la requête suivante pour les modifications de table. Cela contrôle la fréquence d’interrogation de la base de données afin d’éviter les requêtes excessives. |
Table State Store |
Le magasin partagé contenant l’état des tables répliquées. |
Gestion de l’État¶
Champs d’application |
Description |
|---|---|
CLUSTER |
Des informations telles que la version du dernier enregistrement traité pour chaque table sont stockées par ce processeur, de sorte qu’il puisse continuer au même emplacement en cas de redémarrage. |
Relations¶
Nom |
Description |
|---|---|
success |
Création réussie du FlowFile à partir des événements du flux CDC |