FetchDatabaseMetadata 2025.10.2.19

Bundle

com.snowflake.openflow.runtime | runtime-horizon-catalog-processors-nar

Beschreibung

Ruft vollständige Datenbank-Metadaten für alle Tabellen ab und gibt sie in ein FlowFile aus. Die Ausgabe ist ein JSON-Array mit Datenbankinformationen und Schemadetails für alle Tabellen, einschließlich Spaltennamen, Datentypen und Metadaten. Der Schemaabruf unterstützt PostgreSQL, MySQL und SQL-Server. Für SQL-Server kann dieser Prozessor Metadaten von ALLN zugänglichen Datenbanken abrufen, wenn sie mit entsprechenden Berechtigungen verbunden sind. Für PostgreSQL und MySQL ruft er Metadaten aus der verbundenen Datenbank ab. Ausgabeformat (Array von Datenbankobjekten): [ { „source“: „<database_type>“, „database_name“: „<database_name>“, „schemas“: [ { „name“: „<schema_name>“, „entities“: [ { „name“: „<table_name>“, „type“: „table“, „comment“: „<table_comment>“, „total_rows“: <number_of_rows>, „columns“: [ { „name“: „<column_name>“, „comment“: „<column_comment>“, „data_type“: „<data_type>“ } ], „created_on“: <epoch_millis>, „updated_on“: <epoch_millis> } ] } ] } ] Hinweis: Für SQL-Serververbindungen: Wenn die Verbindung Zugriff auf mehrere Datenbanken hat, enthält das Array mehrere Datenbankobjekte. Für PostgreSQL und MySQL enthält das Array ein einzelnes Datenbankobjekt. Kommentare zu Tabellen und Spalten, Zeitstempel für „created_on“, „update_on“ und „total_rows“ sind enthalten, sofern sie in den Datenbankmetadaten verfügbar sind, können aber weggelassen werden, wenn sie vom Datenbanksystem nicht unterstützt werden. Zeitstempel werden als Epochen-Millisekunden oder -1 dargestellt, falls nicht verfügbar. Die Gesamtzahl der Zeilen stellt einen ungefähren/geschätzten Wert aus der Datenbankstatistik dar (keine exakte Zahl) und wird auf -1 gesetzt, wenn er aufgrund von Berechtigungen oder anderen datenbankspezifischen Einschränkungen nicht ermittelt werden kann.

Tags

datenbank, metadaten, schema, tabelle

Eingabeanforderung

REQUIRED

Unterstützt sensible dynamische Eigenschaften

false

Eigenschaften

Eigenschaft

Beschreibung

Connection Pool

Der Verbindungspool, der zum Abrufen der Schemainformationen verwendet werden soll

Beziehungen

Name

Beschreibung

failure

FlowFiles werden an diese Beziehung weitergeleitet, wenn die Schemainformationen nicht abgerufen werden können

no tables found

FlowFiles werden an diese Beziehung weitergeleitet, wenn in keiner zugänglichen Datenbank Tabellen gefunden werden

retryable failure

FlowFiles werden an diese Beziehung weitergeleitet, wenn das Abrufen der Schemainformationen fehlgeschlagen ist, können aber möglicherweise erfolgreich sein, wenn der Vorgang erneut versucht wird

success

FlowFiles werden an diese Beziehung weitergeleitet, wenn die Schemainformationen erfolgreich abgerufen wurden

Schreibt Attribute

Name

Beschreibung

mime.type

application/json

dbms.type

Der Typ des Datenbankverwaltungssystems (DBMS). z. B. POSTGRESQL

database.count

Anzahl der gefundenen und verarbeiteten Datenbanken

schema.count

Gesamtzahl der gefundenen Schemas in allen Datenbanken

table.count

Gesamtzahl der gefundenen Tabellen in allen Datenbanken und Schemas