FetchTableSnapshot 2025.10.2.19¶
Bundle¶
com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar
Description¶
Fetches a snapshot of a table from a database. The snapshot is fetched incrementally, using the primary key columns of the table to fetch rows in batches. Replicating a table without primary key is not supported. The snapshot is written to a FlowFile in the specified Record Writer format. The input FlowFile is expected to consist of a JSON representation of the table schema in the following format: { « columns »: [{ « name »: « <column name> », « type »: « <column type> » }, { « name »: « <column name> », « type »: « <column type> » }, … ], « primaryKeys »: [« <name of first primary key column> », « <name of second primary key column> », …] } Only those columns that are specified in the schema will be fetched from the table.
Exigences en matière d’entrées¶
REQUIRED
Prend en charge les propriétés dynamiques sensibles¶
false
Propriétés¶
Propriété |
Description |
|---|---|
Connection Pool |
Le pooling de connexions à utiliser pour récupérer l’instantané de la base de données |
Fetch Size |
Nombre maximal de lignes chargées simultanément dans la mémoire |
JDBC Driver Location |
Liste séparée par des virgules des fichiers, des dossiers et/ou des URL contenant le pilote JAR et ses dépendances (le cas échéant). Par exemple, « /var/tmp/postgresql-java-client-42.7.5.jar » |
Max Batch Size |
Nombre maximal de lignes à extraire en un seul lot |
Record Writer |
L’auteur de l’enregistrement à utiliser pour écrire l’instantané récupéré |
Nom de schéma |
Le nom du schéma à partir duquel l’instantané doit être récupéré |
Nom de la table |
Le nom de la table à partir de laquelle l’instantané doit être récupéré |
Relations¶
Nom |
Description |
|---|---|
complete |
Lorsque l’instantané est terminé, le FlowFile d’origine est routé vers cette relation |
failure |
Si les données ne peuvent pas être récupérées dans la table représentée par le FlowFile, le FlowFile sera routé vers cette relation. |
échec réessayable |
Si les données ne peuvent pas être récupérées dans la table représentée par le FlowFile mais que nous pensons que cela sera possible à l’avenir, le FlowFile sera routé vers cette relation. |
rows |
Lorsque l’instantané est récupéré avec succès dans la table représentée par le FlowFile, les lignes sont routées vers cette relation. |
Écrit les attributs¶
Nom |
Description |
|---|---|
snapshot.complete |
Indique si l’instantané est complet |
rows.total.fetched |
Le nombre total de lignes récupérées pour la table |
rows.delta.fetched |
Le nombre de lignes récupérées pour la table lors de la dernière itération |
start.row.index |
L’index de la première ligne de l’instantané pour une itération donnée, à partir de 0 |
last.row.index |
L’index de la dernière ligne de l’instantané pour une itération donnée, à partir de 0 |
fetch.delta.time.in.millis |
Le temps en millisecondes pris pour récupérer les lignes lors de la dernière itération |
fetch.total.time.in.millis |
Le temps en millisecondes pris jusqu’à présent pour récupérer les lignes |