FetchDatabaseMetadata 2025.10.2.19

Pacote

com.snowflake.openflow.runtime | runtime-horizon-catalog-processors-nar

Descrição

Busca metadados completos do banco de dados para todas as tabelas e os envia para um FlowFile. A saída é uma matriz JSON com informações do banco de dados e detalhes do esquema para todas as tabelas, incluindo nomes de colunas, tipos de dados e metadados. A busca de esquema é compatível com PostgreSQL, MySQLe servidor SQL. Para o servidor SQL, este processador pode recuperar metadados de ALL os bancos de dados acessíveis quando conectados com permissões apropriadas. Para PostgreSQL e MySQL, ele recupera metadados do banco de dados conectado. Formato de saída (array of database objects): [ { «source»: «<database_type>», «database_name»: «<database_name>», «schemas»: [ { «name»: «<schema_name>», «entities»: [ { «name»: «<table_name>», «type»: «table», «comment»: «<table_comment>», «total_rows»: <number_of_rows>, «columns»: [ { «name»: «<column_name>», «comment»: «<column_comment>», «data_type»: «<data_type>» } ], «created_on»: <epoch_millis>, «updated_on»: <epoch_millis> } ] } ] } ] Observação: Para conexões do servidor SQL, se a conexão tiver acesso a vários bancos de dados, a matriz conterá vários objetos de banco de dados. Para PostgreSQL e MySQL, a matriz terá um único objeto de banco de dados. Comentários de tabela e coluna, created_on, updated_on carimbos de data/hora e total_rows são incluídos quando disponíveis a partir dos metadados do banco de dados, mas podem ser omitidos se não forem suportados pelo sistema de banco de dados. Os carimbos de data/hora são representados como milissegundos de época ou -1, se estiverem indisponíveis. O total de linhas representa um valor aproximado/estimado das estatísticas do banco de dados (não uma contagem exata) e é definido como -1 se não puder ser determinado devido a permissões ou outras limitações específicas do banco de dados.

Tags

banco de dados, metadados, esquema, tabela

Requisito de entrada

REQUIRED

Oferece suporte a propriedades dinâmicas confidenciais

falso

Propriedades

Propriedade

Descrição

Pool de conexões

O pool de conexões a ser usado para buscar as informações do esquema

Relações

Nome

Descrição

failure

FlowFiles são encaminhados para este relacionamento quando não é possível obter as informações do esquema

no tables found

FlowFiles são encaminhados para este relacionamento quando nenhuma tabela é encontrada em nenhum banco de dados acessível

retryable failure

FlowFiles são encaminhados para este relacionamento quando a busca das informações do esquema falhar, mas podem ser capazes de ter sucesso quando a operação é repetida

success

FlowFiles são encaminhados para este relacionamento quando as informações do esquema são buscadas com sucesso

Grava atributos

Nome

Descrição

mime.type

applicativo/json

dbms.type

O tipo de sistema de gerenciamento de bancos de dados (DBMS). Por exemplo, POSTGRESQL

database.count

O número de bancos de dados encontrados e processados

schema.count

O número total de esquemas encontrados em todos os bancos de dados

table.count

O número total de tabelas encontradas em todos os bancos de dados e esquemas