Définition des ressources et référence SQL d’ingestion

STATE.RESOURCE_INGESTION_DEFINITION

Cette table est utilisée pour conserver les données relatives aux ressources configurées. Les données sont principalement constituées de variantes semi-structurées. La définition se trouve dans le fichier ingestion/resource_ingestion_definition.sql.

La table contient les colonnes suivantes :

Nom de la colonne

Description

id

Id de la définition de l’ingestion de ressources.

name

Nom de la définition d’ingestion de ressources qui peut être affiché sur l’UI.

enabled

Informations indiquant si l’ingestion est activée.

parent_id

Id de la définition de l’ingestion de ressources du parent, il permet de créer une hiérarchie de ressources qui peut être ingérée

resource_id

Ensemble de propriétés nécessaires pour définir une ressource dans un connecteur spécifique. Elles identifient une ressource dans un système source. Elles sont définies par un utilisateur.

resource_metadata

Ensemble de propriétés supplémentaires qui décrivent une ressource. Elles peuvent être récupérées automatiquement ou calculées par un connecteur. En option.

ingestion_configurations

Ensemble de propriétés de configuration qui décrivent comment la ressource doit être ingérée à partir du système source. La structure de ce champ est décrite dans le tableau suivant.

updated_at

Horodatage UTC représentant la mise à jour récente.

La propriété ingestion_configuration doit respecter le schéma ci-dessous :

Nom du champ

Description

id

Id de la configuration d’ingestion. Unique pour une définition donnée de l’ingestion de ressources

ingestion_strategy

Stratégie d’ingestion donnée. Valeurs : instantané, incrémentielle

custom_configuration

Ensemble de propriétés d’ingestion spécifiques au connecteur

schedule_type

Type de planification. Valeurs : intervalle, cron

schedule_definition

Chaîne définissant une planification. Par exemple, 30m, 4h, 1j pour l’intervalle. Expression cron dans le cas d’un cron.

destination

Ensemble de propriétés décrivant l’endroit où les données ingérées pour une ressource donnée doivent être stockées.

PUBLIC.INGESTION_DEFINITIONS

Fichier : ingestion/ingestion_definitions_view.sql

Cette vue accessible aux utilisateurs ADMIN et VIEWER renvoie les données de la table STATE.RESOURCE_INGESTION_DEFINITION. Les données renvoyées sont simplifiées et ne contiennent qu’une partie des colonnes :

  • id

  • resource_id

  • name

  • enabled

STATE.INGESTION_PROCESS

Fichier : ingestion/ingestion_run.sql

Cette table est utilisée pour conserver les données relatives au processus. Elle n’est accessible à aucun rôle autre que celui du connecteur lui-même. Elle contient les colonnes suivantes :

Colonne

Type

id

STRING

resource_ingestion_definition_id

STRING

ingestion_configuration_id

STRING

type

STRING

status

STRING

created_at

TIMESTAMP_NTZ

finished_at

TIMESTAMP_NTZ

updated_at

TIMESTAMP_NTZ

Objets Java apparentés

Les classes Java suivantes sont liées à cette table :

STATE.INGESTION_RUN

Fichier : ingestion/ingestion_run.sql

Une table utilisée pour stocker les données du journal concernant les ingérences passées et actuelles déclenchées par le planificateur. Elle n’est accessible à aucun rôle autre que celui du connecteur lui-même.

Elle contient les colonnes suivantes :

Colonne

Type

id

STRING

resource_ingestion_definition_id

STRING

ingestion_configuration_id

STRING

process_id

STRING

started_at

TIMESTAMP_NTZ

completed_at

TIMESTAMP_NTZ

status

STRING

ingested_rows

NUMBER

metadata

VARIANT

Objets Java apparentés

Les classes Java suivantes sont liées à cette table :

Langage: Français