Referência SQL de definição e ingestão de recursos¶

STATE.RESOURCE_INGESTION_DEFINITION¶

Esta tabela é usada para persistir os dados sobre recursos configurados. Os dados consistem principalmente de variantes semiestruturadas. A definição pode ser encontrada no arquivo ingestion/resource_ingestion_definition.sql.

A tabela contém as seguintes colunas:

Nome da coluna	Descrição
`id`	Id da definição de ingestão de recursos.
`name`	Nome da definição de ingestão de recursos que pode ser mostrada na UI.
`enabled`	Informações sobre se a ingestão está habilitada.
`parent_id`	ID da definição de ingestão de recursos dos pais, permite criar uma hierarquia de recursos que pode ser ingerida
`resource_id`	Conjunto de propriedades necessárias para definir um recurso em um conector específico. Eles identificam um recurso em um sistema de origem. Eles são definidos por um usuário.
`resource_metadata`	Conjunto de propriedades adicionais que descrevem um recurso. Eles podem ser buscados automaticamente ou calculados por um conector. Opcional.
`ingestion_configurations`	Conjunto de propriedades de configuração que descrevem como o recurso deve ser ingerido do sistema de origem. A estrutura deste campo é descrita na próxima tabela.
`updated_at`	Carimbo de data/hora UTC representando atualização recente.

A propriedade ingestion_configuration deve seguir o esquema abaixo:

Nome do campo	Descrição
`id`	Id da configuração de ingestão. Único para a definição de ingestão de recursos fornecida
`ingestion_strategy`	Estratégia de ingestão dada. Valores: instantâneo, incremental
`custom_configuration`	Conjunto de propriedades de ingestão específicas do conector
`schedule_type`	Tipo de cronograma. Valores: intervalo, cron
`schedule_definition`	Cadeia de caracteres que define um cronograma, por exemplo, 30m, 4h, 1d para intervalo. Expressão cron no caso de cron.
`destination`	Conjunto de propriedades que descrevem onde os dados ingeridos para um determinado recurso devem ser armazenados.

PUBLIC.INGESTION_DEFINITIONS¶

Arquivo: ingestion/ingestion_definitions_view.sql

Esta exibição disponível para os usuários ADMIN e VIEWER retornam os dados da tabela STATE.RESOURCE_INGESTION_DEFINITION. Os dados retornados são simplificados e contêm apenas algumas das colunas:

id
resource_id
nome
habilitado

STATE.INGESTION_PROCESS¶

Arquivo: ingestion/ingestion_run.sql

Esta tabela é usada para persistir os dados sobre o processo. Ela não está disponível para nenhuma função além do próprio conector. Ela contém as seguintes colunas:

Coluna

Tipo

id

STRING

resource_ingestion_definition_id

STRING

ingestion_configuration_id

STRING

type

STRING

status

STRING

created_at

TIMESTAMP_NTZ

finished_at

TIMESTAMP_NTZ

updated_at

TIMESTAMP_NTZ

Coluna	Tipo
`id`	`STRING`
`resource_ingestion_definition_id`	`STRING`
`ingestion_configuration_id`	`STRING`
`type`	`STRING`
`status`	`STRING`
`created_at`	`TIMESTAMP_NTZ`
`finished_at`	`TIMESTAMP_NTZ`
`updated_at`	`TIMESTAMP_NTZ`

Objetos Java relacionados¶

As seguintes classes Java estão relacionadas a esta tabela:

STATE.INGESTION_RUN¶

Arquivo: ingestion/ingestion_run.sql

Uma tabela usada para armazenar dados de log sobre ingestão passada e atual acionada pelo agendador. Ela não está disponível para nenhuma função além do próprio conector.

Ela contém as seguintes colunas:

Coluna

Tipo

id

STRING

resource_ingestion_definition_id

STRING

ingestion_configuration_id

STRING

process_id

STRING

started_at

TIMESTAMP_NTZ

completed_at

TIMESTAMP_NTZ

status

STRING

ingested_rows

NUMBER

metadata

VARIANT

Coluna	Tipo
`id`	`STRING`
`resource_ingestion_definition_id`	`STRING`
`ingestion_configuration_id`	`STRING`
`process_id`	`STRING`
`started_at`	`TIMESTAMP_NTZ`
`completed_at`	`TIMESTAMP_NTZ`
`status`	`STRING`
`ingested_rows`	`NUMBER`
`metadata`	`VARIANT`

Objetos Java relacionados¶

As seguintes classes Java estão relacionadas a esta tabela: