FetchDatabaseMetadata 2025.10.2.19¶
Bundle¶
com.snowflake.openflow.runtime | runtime-horizon-catalog-processors-nar
Description¶
Récupère les métadonnées complètes de la base de données pour toutes les tables et les génère dans un FlowFile. La sortie est un tableau JSON contenant des informations sur la base de données et les détails du schéma pour toutes les tables, y compris les noms de colonne, les types de données et les métadonnées. La récupération de schéma prend en charge PostgreSQL, MySQL et SQL serveur. Pour SQL serveur, ce processeur peut récupérer des métadonnées depuis TOUTES les bases de données accessibles lorsqu’elles sont connectées avec les autorisations appropriées. Pour PostgreSQL et MySQL, il récupère les métadonnées de la base de données connectée. Format de sortie (tableau d’objets de base de données) : [ { « source »: « <database_type> », « database_name »: « <database_name> », « schemas »: [ { « name »: « <schema_name> », « entities »: [ { « name »: « <table_name> », « type »: « table », « comment »: « <table_comment> », « total_rows »: <number_of_rows>, « columns »: [ { « name »: « <column_name> », « comment »: « <column_comment> », « data_type »: « <data_type> » } ], « created_on »: <epoch_millis>, « updated_on »: <epoch_millis> } ] } ] } ] Note: Pour les connexions SQL serveur, si la connexion a accès à plusieurs bases de données, le tableau contiendra plusieurs objets de base de données. Pour PostgreSQL et MySQL, le tableau contiendra un seul objet de base de données. Les commentaires de table et de colonne, created_on, updated_on timestamps et total_rows sont inclus lorsqu’ils sont disponibles dans les métadonnées de la base de données, mais peuvent être omis s’ils ne sont pas pris en charge par le système de base de données. Les horodatages sont représentés par des millisecondes d’epoch (époque), ou -1 si non disponible. Le nombre total de lignes représente une valeur approximative/estimée des statistiques de la base de données (et non un nombre exact) et est défini sur -1 s’il ne peut pas être déterminé en raison d’autorisations ou d’autres limitations spécifiques à la base de données.
Exigences en matière d’entrées¶
REQUIRED
Prend en charge les propriétés dynamiques sensibles¶
false
Propriétés¶
Propriété |
Description |
|---|---|
Connection Pool |
Le pool de connexion à utiliser pour récupérer les informations sur le schéma |
Relations¶
Nom |
Description |
|---|---|
failure |
Les FlowFiles sont acheminés vers cette relation lorsque les informations du schéma ne peuvent pas être extraites. |
aucune table trouvée |
Les FlowFiles sont acheminés vers cette relation lorsqu’aucune table n’est trouvée dans une base de données accessible |
échec réessayable |
Les FlowFiles sont acheminés vers cette relation lorsque la récupération des informations de schéma a échoué, mais peut être en mesure de réussir lorsque l’opération est réessayée |
success |
Les FlowFiles sont acheminés vers cette relation lorsque les informations du schéma sont récupérées avec succès. |
Écrit les attributs¶
Nom |
Description |
|---|---|
mime.type |
application/json |
dbms.type |
Le type de système de gestion de base de données (DBMS). Par exemple, |
database.count |
Le nombre de bases de données trouvées et traitées |
nombre.schéma |
Le nombre total de schémas trouvés dans toutes les bases de données |
table.count |
Le nombre total de tables trouvées dans l’ensemble des bases de données et schémas |