CaptureChangeSqlServer 2025.5.31.15¶
Bundle¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
Description¶
Lit les événements CDC à partir d’une base de données SQL Server. Ce processeur interroge périodiquement les tables de suivi des changements survenant dans la base de données, mais uniquement pour les tables fournies par TableStateService. Le processeur conserve un état du dernier événement traité pour chaque table. Le processeur déplace la position après chaque table traitée. Le processeur prend en charge le multithreading. Le nombre de threads et la limite de connexion configurés dans le pool définissent collectivement la limite supérieure des connexions ouvertes à la base de données source. Le processeur génère en sortie deux types de FlowFiles : des DDL, contenant le schéma initial d’une table puis son nouveau schéma à chaque changement, et des DML, dont les enregistrements représentent les modifications apportées aux données de la table. Un FlowFilereprésente toujours les données relatives à une seule table. Le DDL contenant le schéma est écrit dans le contenu du FlowFile en tant qu’objet JSON, sous la forme suivante : { « columns »: [ { « name »: « <columnName> », « type »: « <snowflakeType> », « nullable »: <true|false>, « scale »: <scale>, « precision »: <precision> }, … ], « primaryKeys »: [ « primaryKeys »: [« <primaryKey1> », « <primaryKey2> », …]}Les enregistrements DML sont structurés comme suit : { « primaryKeys »: { « <column> »: <value>, … }, « payload »: { « <column> »: <value>, … }, « metadata »: { « <column> »: <value>, … }}
Exigences en matière d’entrées¶
FORBIDDEN
Prend en charge les propriétés dynamiques sensibles¶
false
Propriétés¶
Propriété |
Description |
---|---|
Column Filter Store |
Service de stockage des paramètres de filtrage des colonnes par table. |
Connection Pool |
Le pool de connexions |
Fetch Size |
Nombre maximal de lignes chargées simultanément dans la mémoire |
Max Batch Size |
Nombre maximal de lignes à extraire en un seul lot |
Record Writer |
Le Record Writer est utilisé pour sérialiser les événements DML |
Table State Store |
Le magasin partagé contenant l’état des tables répliquées. |
Gestion de l’État¶
Champs d’application |
Description |
---|---|
CLUSTER |
Des informations telles que la version du dernier enregistrement traité pour chaque table sont stockées par ce processeur, de sorte qu’il puisse continuer au même emplacement en cas de redémarrage. |
Relations¶
Nom |
Description |
---|---|
success |
Création réussie du FlowFile à partir des événements du flux CDC |