FetchTableSnapshot 2025.5.31.15¶
Bundle¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
Description¶
Extrait un instantané d’une table d’une base de données. L’instantané est récupéré de manière incrémentielle, en utilisant les colonnes de la clé primaire de la table pour récupérer les lignes par lots. La réplication d’une table sans clé primaire n’est pas prise en charge. “instantané est écrit sur un FlowFile dans le format Record Writer spécifié. e FlowFile entrant est censé consister en une représentation JSON du schéma de la table dans le format suivant :{ « columns »: [{ « name »: « <column name> », « type »: « <column type> » }, { « name »: « <column name> », « type »: « <column type> » }, …], primaryKeys : [« <name of first primary key column> », « <name of second primary key column> », …]}Seules les colonnes spécifiées dans le schéma seront extraites de la table.
Exigences en matière d’entrées¶
REQUIRED
Prend en charge les propriétés dynamiques sensibles¶
false
Propriétés¶
Propriété |
Description |
|---|---|
Connection Pool |
Le pooling de connexions à utiliser pour récupérer l’instantané de la base de données |
Fetch Size |
Nombre maximal de lignes chargées simultanément dans la mémoire |
JDBC Driver Location |
Liste séparée par des virgules des fichiers, des dossiers et/ou des URL contenant le pilote JAR et ses dépendances (le cas échéant). Par exemple, « /var/tmp/postgresql-java-client-42.7.5.jar » |
Max Batch Size |
Nombre maximal de lignes à extraire en un seul lot |
Record Writer |
L’auteur de l’enregistrement à utiliser pour écrire l’instantané récupéré |
Nom de schéma |
Le nom du schéma à partir duquel l’instantané doit être récupéré |
Nom de la table |
Le nom de la table à partir de laquelle l’instantané doit être récupéré |
Relations¶
Nom |
Description |
|---|---|
complete |
Lorsque l’instantané est terminé, le FlowFile d’origine est routé vers cette relation |
failure |
Si les données ne peuvent pas être récupérées dans la table représentée par le FlowFile, le FlowFile sera routé vers cette relation. |
échec réessayable |
Si les données ne peuvent pas être récupérées dans la table représentée par le FlowFile mais que nous pensons que cela sera possible à l’avenir, le FlowFile sera routé vers cette relation. |
rows |
Lorsque l’instantané est récupéré avec succès dans la table représentée par le FlowFile, les lignes sont routées vers cette relation. |
Écrit les attributs¶
Nom |
Description |
|---|---|
snapshot.complete |
Indique si l’instantané est complet |
rows.total.fetched |
Le nombre total de lignes récupérées pour la table |
rows.delta.fetched |
Le nombre de lignes récupérées pour la table lors de la dernière itération |
start.row.index |
L’index de la première ligne de l’instantané pour une itération donnée, à partir de 0 |
last.row.index |
L’index de la dernière ligne de l’instantané pour une itération donnée, à partir de 0 |
fetch.delta.time.in.millis |
Le temps en millisecondes pris pour récupérer les lignes lors de la dernière itération |
fetch.total.time.in.millis |
Le temps en millisecondes pris jusqu’à présent pour récupérer les lignes |