CaptureChangeSqlServer 2025.5.31.15

Bundle

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

Description

Lit les événements CDC à partir d’une base de données SQL Server. Ce processeur interroge périodiquement les tables de suivi des changements survenant dans la base de données, mais uniquement pour les tables fournies par TableStateService. Le processeur conserve un état du dernier événement traité pour chaque table. Le processeur déplace la position après chaque table traitée. Le processeur prend en charge le multithreading. Le nombre de threads et la limite de connexion configurés dans le pool définissent collectivement la limite supérieure des connexions ouvertes à la base de données source. Le processeur génère en sortie deux types de FlowFiles : des DDL, contenant le schéma initial d’une table puis son nouveau schéma à chaque changement, et des DML, dont les enregistrements représentent les modifications apportées aux données de la table. Un FlowFilereprésente toujours les données relatives à une seule table. Le DDL contenant le schéma est écrit dans le contenu du FlowFile en tant qu’objet JSON, sous la forme suivante : { « columns »: [ { « name »: « <columnName> », « type »: « <snowflakeType> », « nullable »: <true|false>, « scale »: <scale>, « precision »: <precision> }, … ], « primaryKeys »: [ « primaryKeys »: [« <primaryKey1> », « <primaryKey2> », …]}Les enregistrements DML sont structurés comme suit : { « primaryKeys »: { « <column> »: <value>, … }, « payload »: { « <column> »: <value>, … }, « metadata »: { « <column> »: <value>, … }}

Balises

cdc, event, jdbc, sql, sql server

Exigences en matière d’entrées

FORBIDDEN

Prend en charge les propriétés dynamiques sensibles

false

Propriétés

Propriété

Description

Column Filter Store

Service de stockage des paramètres de filtrage des colonnes par table.

Connection Pool

Le pool de connexions

Fetch Size

Nombre maximal de lignes chargées simultanément dans la mémoire

Max Batch Size

Nombre maximal de lignes à extraire en un seul lot

Record Writer

Le Record Writer est utilisé pour sérialiser les événements DML

Table State Store

Le magasin partagé contenant l’état des tables répliquées.

Gestion de l’État

Champs d’application

Description

CLUSTER

Des informations telles que la version du dernier enregistrement traité pour chaque table sont stockées par ce processeur, de sorte qu’il puisse continuer au même emplacement en cas de redémarrage.

Relations

Nom

Description

success

Création réussie du FlowFile à partir des événements du flux CDC