SQL-Referenz für Ressourcendefinition und Datenaufnahme¶

STATE.RESOURCE_INGESTION_DEFINITION¶

Diese Tabelle wird verwendet, um die Daten über konfigurierte Ressourcen aufzubewahren. Die Daten bestehen meist aus semistrukturierten Variant-Werten. Die Definition befindet sich in der Datei ingestion/resource_ingestion_definition.sql.

Die Tabelle enthält folgende Spalten:

Spaltenname	Beschreibung
`id`	ID der Datenaufnahmedefinition der Ressource.
`name`	Name der Datenaufnahmedefinition der Ressource, die auf der UI angezeigt werden kann.
`enabled`	Information, ob die Datenaufnahme aktiviert ist.
`parent_id`	ID der übergeordneten Datenaufnahmedefinition der Ressource; ermöglicht das Erstellen einer Ressourcenhierarchie, die aufgenommen werden kann.
`resource_id`	Ein Satz von Eigenschaften, die benötigt werden, um eine Ressource in einem bestimmten Konnektor zu definieren. Sie identifizieren eine Ressource in einem Quellsystem. Werden von einem Benutzer festgelegt.
`resource_metadata`	Ein Satz von zusätzlichen Eigenschaften, die eine Ressource beschreiben. Können automatisch abgerufen oder von einem Konnektor berechnet werden. Optional.
`ingestion_configurations`	Ein Satz von Konfigurationseigenschaften, die beschreiben, wie die Ressource aus dem Quellsystem aufgenommen werden soll. Die Struktur dieses Feldes ist in der nächsten Tabelle beschrieben.
`updated_at`	UTC-Zeitstempel der letzten Aktualisierung.

Die Eigenschaft ingestion_configuration sollte dem folgenden Schema entsprechen:

Feldname	Beschreibung
`id`	ID der Datenaufnahmekonfiguration. Eindeutig für eine gegebene Datenaufnahmedefinition einer Ressource
`ingestion_strategy`	Strategie der gegebenen Datenaufnahme. Werte: snapshot, inkrementell
`custom_configuration`	Satz von Konnektor-spezifischen Datenaufnahmeeigenschaften
`schedule_type`	Typ des Zeitplans (Schedule). Werte: interval, cron
`schedule_definition`	Zeichenfolge (String), die einen Zeitplan definiert, z. B. 30m, 4h, 1d für „interval“. Cron-Ausdruck im Falle von „cron“.
`destination`	Ein Satz von Eigenschaften, die beschreiben, wo aufgenommene Daten einer bestimmten Ressource gespeichert werden sollen.

PUBLIC.INGESTION_DEFINITIONS¶

Datei: ingestion/ingestion_definitions_view.sql

Diese Ansicht ist für ADMIN- und VIEWER-Benutzer verfügbar und gibt die Daten aus der Tabelle STATE.RESOURCE_INGESTION_DEFINITION zurück. Die zurückgegebenen Daten sind vereinfacht und enthalten nur einige der Spalten:

id
resource_id
name
enabled

STATE.INGESTION_PROCESS¶

Datei: ingestion/ingestion_run.sql

Diese Tabelle wird verwendet, um die Daten über den Prozess aufzubewahren. Ist für keine Rolle sondern nur für den Konnektor verfügbar. Enthält die folgenden Spalten:

Spalte

Typ

id

STRING

resource_ingestion_definition_id

STRING

ingestion_configuration_id

STRING

type

STRING

status

STRING

created_at

TIMESTAMP_NTZ

finished_at

TIMESTAMP_NTZ

updated_at

TIMESTAMP_NTZ

Spalte	Typ
`id`	`STRING`
`resource_ingestion_definition_id`	`STRING`
`ingestion_configuration_id`	`STRING`
`type`	`STRING`
`status`	`STRING`
`created_at`	`TIMESTAMP_NTZ`
`finished_at`	`TIMESTAMP_NTZ`
`updated_at`	`TIMESTAMP_NTZ`

STATE.INGESTION_RUN¶

Datei: ingestion/ingestion_run.sql

Eine Tabelle zum Speichern von Protokolldaten über vergangene und aktuelle Datenaufnahmen, die durch den Scheduler ausgelöst wurden. Ist für keine Rolle sondern nur für den Konnektor verfügbar.

Enthält die folgenden Spalten:

Spalte

Typ

id

STRING

resource_ingestion_definition_id

STRING

ingestion_configuration_id

STRING

process_id

STRING

started_at

TIMESTAMP_NTZ

completed_at

TIMESTAMP_NTZ

status

STRING

ingested_rows

NUMBER

metadata

VARIANT