CaptureChangeSqlServer 2025.10.2.19¶

Bundle¶

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

Description¶

Lit les événements CDC d’une base de données SQL Server. Le processeur interroge périodiquement les tables de suivi des modifications dans la base de données, mais uniquement pour les tables fournies par le TableStateService. Le processeur conserve un état du dernier événement traité pour chaque table. Le processeur déplace la position après chaque table traitée. Le processeur prend en charge le multithread. Le nombre de threads et la limite de connexions configurés dans le pool définissent collectivement la limite supérieure des connexions ouvertes à la base de données source. Le processeur produit deux types de FlowFiles : les DDLs, contenant le schéma initial d’une table, puis chaque fois que son schéma change, et les DMLs avec des enregistrements représentant les modifications apportées aux données de la table. Un FlowFile représente toujours les données relatives à une seule table. La DDL avec le schéma est écrite dans le contenu du FlowFile en tant qu’ objet JSON, sous une forme telle que : [ { « name »: « <columnName> », « type »: « <snowflakeType> », « nullable »: <true|false>, « scale »: <scale>, « precision »: <precision> }, … ], « primaryKeys »: [« <primaryKey1> », « <primaryKey2> », …] } Les enregistrements de DML sont structurés comme suit : { « primaryKeys »: { « <column> »: <value>, … }, « payload »: { « <column> »: <value>, … }, « metadata »: { « <column> »: <value>, … }

Balises¶

cdc, event, jdbc, sql, sql server

Exigences en matière d’entrées¶

FORBIDDEN

Prend en charge les propriétés dynamiques sensibles¶

false

Propriétés¶

Propriété	Description
Column Filter Store	Service de stockage des paramètres de filtrage des colonnes par table.
Connection Pool	Le pool de connexions
Fetch Size	Nombre maximal de lignes chargées simultanément dans la mémoire
Max Batch Size	Nombre maximal de lignes à extraire en un seul lot
Record Writer	Le Record Writer est utilisé pour sérialiser les événements DML
Intervalle de requête des modifications de la table	L’intervalle de temps minimum qui doit s’écouler avant de planifier la requête suivante pour les modifications de table. Cela contrôle la fréquence d’interrogation de la base de données afin d’éviter les requêtes excessives.
Table State Store	Le magasin partagé contenant l’état des tables répliquées.

Gestion de l’État¶

Champs d’application	Description
CLUSTER	Des informations telles que la version du dernier enregistrement traité pour chaque table sont stockées par ce processeur, de sorte qu’il puisse continuer au même emplacement en cas de redémarrage.

Relations¶

Nom	Description
success	Création réussie du FlowFile à partir des événements du flux CDC