FetchDatabaseMetadata 2025.10.2.19¶
Bundle¶
com.snowflake.openflow.runtime | runtime-horizon-catalog-processors-nar
Beschreibung¶
Ruft vollständige Datenbank-Metadaten für alle Tabellen ab und gibt sie in ein FlowFile aus. Die Ausgabe ist ein JSON-Array mit Datenbankinformationen und Schemadetails für alle Tabellen, einschließlich Spaltennamen, Datentypen und Metadaten. Der Schemaabruf unterstützt PostgreSQL, MySQL und SQL-Server. Für SQL-Server kann dieser Prozessor Metadaten von ALLN zugänglichen Datenbanken abrufen, wenn sie mit entsprechenden Berechtigungen verbunden sind. Für PostgreSQL und MySQL ruft er Metadaten aus der verbundenen Datenbank ab. Ausgabeformat (Array von Datenbankobjekten): [ { „source“: „<database_type>“, „database_name“: „<database_name>“, „schemas“: [ { „name“: „<schema_name>“, „entities“: [ { „name“: „<table_name>“, „type“: „table“, „comment“: „<table_comment>“, „total_rows“: <number_of_rows>, „columns“: [ { „name“: „<column_name>“, „comment“: „<column_comment>“, „data_type“: „<data_type>“ } ], „created_on“: <epoch_millis>, „updated_on“: <epoch_millis> } ] } ] } ] Hinweis: Für SQL-Serververbindungen: Wenn die Verbindung Zugriff auf mehrere Datenbanken hat, enthält das Array mehrere Datenbankobjekte. Für PostgreSQL und MySQL enthält das Array ein einzelnes Datenbankobjekt. Kommentare zu Tabellen und Spalten, Zeitstempel für „created_on“, „update_on“ und „total_rows“ sind enthalten, sofern sie in den Datenbankmetadaten verfügbar sind, können aber weggelassen werden, wenn sie vom Datenbanksystem nicht unterstützt werden. Zeitstempel werden als Epochen-Millisekunden oder -1 dargestellt, falls nicht verfügbar. Die Gesamtzahl der Zeilen stellt einen ungefähren/geschätzten Wert aus der Datenbankstatistik dar (keine exakte Zahl) und wird auf -1 gesetzt, wenn er aufgrund von Berechtigungen oder anderen datenbankspezifischen Einschränkungen nicht ermittelt werden kann.
Eingabeanforderung¶
REQUIRED
Unterstützt sensible dynamische Eigenschaften¶
false
Eigenschaften¶
Eigenschaft |
Beschreibung |
|---|---|
Connection Pool |
Der Verbindungspool, der zum Abrufen der Schemainformationen verwendet werden soll |
Beziehungen¶
Name |
Beschreibung |
|---|---|
failure |
FlowFiles werden an diese Beziehung weitergeleitet, wenn die Schemainformationen nicht abgerufen werden können |
no tables found |
FlowFiles werden an diese Beziehung weitergeleitet, wenn in keiner zugänglichen Datenbank Tabellen gefunden werden |
retryable failure |
FlowFiles werden an diese Beziehung weitergeleitet, wenn das Abrufen der Schemainformationen fehlgeschlagen ist, können aber möglicherweise erfolgreich sein, wenn der Vorgang erneut versucht wird |
success |
FlowFiles werden an diese Beziehung weitergeleitet, wenn die Schemainformationen erfolgreich abgerufen wurden |
Schreibt Attribute¶
Name |
Beschreibung |
|---|---|
mime.type |
application/json |
dbms.type |
Der Typ des Datenbankverwaltungssystems (DBMS). z. B. |
database.count |
Anzahl der gefundenen und verarbeiteten Datenbanken |
schema.count |
Gesamtzahl der gefundenen Schemas in allen Datenbanken |
table.count |
Gesamtzahl der gefundenen Tabellen in allen Datenbanken und Schemas |