FetchTableSnapshot 2025.5.31.15¶

Bundle¶

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

Beschreibung¶

Holt einen Snapshot einer Tabelle aus einer Datenbank. Der Snapshot wird inkrementell abgerufen, wobei die Primärschlüsselspalten der Tabelle verwendet werden, um Zeilen in Batches abzurufen. Das Replizieren einer Tabelle ohne Primärschlüssel wird nicht unterstützt. Der Snapshot wird in ein FlowFile im angegebenen Record-Writer-Format geschrieben. FlowFile sollte aus einer JSON-Darstellung des Tabellenschemas im folgenden Format bestehen:{ „columns“: [{ „name“: „<column name>“, „type“: „<column type>“ }, { „name“: „<column name>“, „type“: „<column type>“ }, … ], „primaryKeys“: [„<name of first primary key column>“, „<name of second primary key column>“, …]}Nur die Spalten, die im Schema angegeben sind, werden aus der Tabelle abgerufen.

Tags¶

database, fetch, rdbms, snapshot, snowflake, table

Eingabeanforderung¶

REQUIRED

Unterstützt sensible dynamische Eigenschaften¶

false

Eigenschaften¶

Eigenschaft	Beschreibung
Connection Pool	Der Verbindungspool, der zum Abrufen des Datenbank-Snapshots verwendet wird
Fetch Size	Die maximale Anzahl von Zeilen, die auf einmal in den Speicher geladen werden
JDBC Driver Location	Durch Kommas getrennte Liste von Dateien/Ordnern und/oder URLs, die den JAR-Treiber und seine Abhängigkeiten (falls vorhanden) enthalten. Zum Beispiel „/var/tmp/postgresql-java-client-42.7.5.jar“
Max Batch Size	Die maximale Anzahl von Zeilen, die in einem einzigen Batch abgerufen werden
Record Writer	Der Record Writer, der zum Schreiben des abgerufenen Snapshots verwendet wird
Schema Name	Der Name des Schemas, aus dem der Snapshot abgerufen werden soll
Tabellenname	Der Name der Tabelle, aus der der Snapshot abgerufen werden soll

Beziehungen¶

Name	Beschreibung
complete	Wenn der Snapshot fertig ist, wird das Original-FlowFile an diese Beziehung weitergeleitet.
failure	Wenn die Daten nicht aus der durch das FlowFile repräsentierten Tabelle abgerufen werden können, wird das FlowFile an diese Beziehung weitergeleitet.
retryable failure	Wenn die Daten nicht aus der durch das FlowFile repräsentierten Tabelle abgerufen werden können, wir aber erwarten, dass dies in Zukunft möglich sein wird, wird das FlowFile an diese Beziehung weitergeleitet.
rows	Wenn der Snapshot erfolgreich aus der durch das FlowFile dargestellten Tabelle abgerufen wurde, werden die Zeilen an diese Beziehung weitergeleitet.

Schreibt Attribute¶

Name	Beschreibung
snapshot.complete	Zeigt an, ob der Snapshot vollständig ist
rows.total.fetched	Die Gesamtzahl der abgerufenen Zeilen für die Tabelle
rows.delta.fetched	Die Anzahl der Zeilen, die in der letzten Iteration für die Tabelle abgerufen wurden
start.row.index	Der Index der ersten Zeile innerhalb des Snapshotsfür eine bestimmte Iteration, beginnend bei 0.
last.row.index	Der Index der letzten Zeile innerhalb des Snapshots für eine bestimmte Iteration, beginnend bei 0
fetch.delta.time.in.millis	Die Zeit in Millisekunden, die zum Abrufen der Zeilen in der letzten Iteration benötigt wurde
fetch.total.time.in.millis	Die Zeit in Millisekunden, die bisher zum Abrufen der Zeilen benötigt wurde