FetchDatabaseMetadata 2025.10.2.19

Bundle

com.snowflake.openflow.runtime | runtime-horizon-catalog-processors-nar

Description

Récupère les métadonnées complètes de la base de données pour toutes les tables et les génère dans un FlowFile. La sortie est un tableau JSON contenant des informations sur la base de données et les détails du schéma pour toutes les tables, y compris les noms de colonne, les types de données et les métadonnées. La récupération de schéma prend en charge PostgreSQL, MySQL et SQL serveur. Pour SQL serveur, ce processeur peut récupérer des métadonnées depuis TOUTES les bases de données accessibles lorsqu’elles sont connectées avec les autorisations appropriées. Pour PostgreSQL et MySQL, il récupère les métadonnées de la base de données connectée. Format de sortie (tableau d’objets de base de données) : [ { « source »: « <database_type> », « database_name »: « <database_name> », « schemas »: [ { « name »: « <schema_name> », « entities »: [ { « name »: « <table_name> », « type »: « table », « comment »: « <table_comment> », « total_rows »: <number_of_rows>, « columns »: [ { « name »: « <column_name> », « comment »: « <column_comment> », « data_type »: « <data_type> » } ], « created_on »: <epoch_millis>, « updated_on »: <epoch_millis> } ] } ] } ] Note: Pour les connexions SQL serveur, si la connexion a accès à plusieurs bases de données, le tableau contiendra plusieurs objets de base de données. Pour PostgreSQL et MySQL, le tableau contiendra un seul objet de base de données. Les commentaires de table et de colonne, created_on, updated_on timestamps et total_rows sont inclus lorsqu’ils sont disponibles dans les métadonnées de la base de données, mais peuvent être omis s’ils ne sont pas pris en charge par le système de base de données. Les horodatages sont représentés par des millisecondes d’epoch (époque), ou -1 si non disponible. Le nombre total de lignes représente une valeur approximative/estimée des statistiques de la base de données (et non un nombre exact) et est défini sur -1 s’il ne peut pas être déterminé en raison d’autorisations ou d’autres limitations spécifiques à la base de données.

Balises

database, metadata, schema, table

Exigences en matière d’entrées

REQUIRED

Prend en charge les propriétés dynamiques sensibles

false

Propriétés

Propriété

Description

Connection Pool

Le pool de connexion à utiliser pour récupérer les informations sur le schéma

Relations

Nom

Description

failure

Les FlowFiles sont acheminés vers cette relation lorsque les informations du schéma ne peuvent pas être extraites.

aucune table trouvée

Les FlowFiles sont acheminés vers cette relation lorsqu’aucune table n’est trouvée dans une base de données accessible

échec réessayable

Les FlowFiles sont acheminés vers cette relation lorsque la récupération des informations de schéma a échoué, mais peut être en mesure de réussir lorsque l’opération est réessayée

success

Les FlowFiles sont acheminés vers cette relation lorsque les informations du schéma sont récupérées avec succès.

Écrit les attributs

Nom

Description

mime.type

application/json

dbms.type

Le type de système de gestion de base de données (DBMS). Par exemple, POSTGRESQL

database.count

Le nombre de bases de données trouvées et traitées

nombre.schéma

Le nombre total de schémas trouvés dans toutes les bases de données

table.count

Le nombre total de tables trouvées dans l’ensemble des bases de données et schémas