Choisir des composants SDK¶
Les SDK de connecteurs natifs sont constitués de plusieurs composants, dont certains sont indépendants et d’autres dépendent les uns des autres pour fonctionner. Cette section explique comment personnaliser les composants qui seront activés dans le connecteur. En outre, chaque composant sera brièvement décrit et leurs dépendances seront mentionnées.
Activation/désactivation des composants¶
Les composants sont activés et désactivés au niveau des objets de la base de données Snowflake. Cela signifie que le fichier setup.sql exécuté est la source de vérité sur ce qui a été activé ou désactivé. Pour les premiers utilisateurs, il est recommandé d’utiliser le fichier all.sql fourni par le SDK. Ce fichier comprend toutes les fonctions de base du SDK (à l’exception de Task Reactor).
Pour ce faire, il suffit de mettre la ligne suivante dans le fichier setup.sql du connecteur :
EXECUTE IMMEDIATE FROM 'native-connectors-sdk-components/all.sql';
Pour les utilisateurs plus expérimentés, il est possible de personnaliser les fonctions activées et désactivées. Pour ce faire, ajoutez et supprimez les instructions EXECUTE IMMEDIATE si nécessaire. Gardez à l’esprit que l’exclusion d’un fichier requis par la fonction la rendra inopérante.
-- Core connector objects
EXECUTE IMMEDIATE FROM 'core.sql';
-- Connector configuration prerequisites
EXECUTE IMMEDIATE FROM 'prerequisites.sql';
-- Connector configuration flow
EXECUTE IMMEDIATE FROM 'configuration/app_config.sql';
EXECUTE IMMEDIATE FROM 'configuration/connector_configuration.sql';
Composants¶
Les sections ci-dessous contiennent une liste des composants natifs des connecteurs SDK avec une brève description et une liste des autres composants nécessaires pour chacun d’entre eux. Pour plus d’informations, voir Référence Snowflake Native SDK for Connectors.
Composante essentielle¶
La composante essentielle est responsable de la création des objets de base pour le connecteur, tels que les schémas, les rôles et la couche de persistance pour le statut interne de l’application.
Dépendances¶
Ce composant ne dépend pas d’autres composants.
Composant de la configuration de l’application¶
Le composant de configuration de l’application est une couche de persistance qui permet de stocker et de lire la configuration interne de l’application.
Dépendances¶
Ce composant ne dépend pas d’autres composants.
Composant des prérequis¶
Les prérequis sont une partie facultative de l’assistant. Ils permettent d’informer l’utilisateur final sur les configurations et les réglages initiaux à effectuer, généralement en dehors du connecteur lui-même.
Dépendances¶
Composante essentielle
Composant de configuration du connecteur¶
La configuration du connecteur est une étape de l’assistant chargée de configurer les propriétés communes du connecteur telles que : la base de données de départ, le rôle du propriétaire des données, l’entrepôt, etc.
Dépendances¶
Composante essentielle
Composant de la configuration de l’application
Composant de configuration de la connexion¶
La configuration de la connexion est une étape de l’assistant chargée de configurer les propriétés liées à la communication avec le système source externe pour le connecteur, par exemple les propriétés et méthodes d’authentification et d’autorisation.
Dépendances¶
Composante essentielle
Composant de la configuration de l’application
Composant de configuration de finalisation¶
Le connecteur de finalisation est une étape de l’assistant chargée d’effectuer les derniers contrôles de connexion au système source externe et les configurations spécifiques au connecteur.
Dépendances¶
Composante essentielle
Recommandé : composant de configuration de l’application
Composant de pause/reprise¶
Le composant de pause/reprise offre la possibilité de mettre en pause et de reprendre le connecteur à tout moment pour arrêter la consommation de crédits.
Dépendances¶
Composante essentielle
Recommandé : composant de configuration de l’application
Recommandé : composant de configuration de finalisation
Composant d’ingestion¶
Le composant d’ingestion fournit l’abstraction et la persistance pour définir les données qui seront introduites dans Snowflake à partir du système source externe.
Dépendances¶
Ce composant ne dépend pas d’autres composants, mais nécessite l’exécution de plusieurs fichiers SQL.
Composant du planificateur¶
Le composant du planificateur permet de fournir un mécanisme de déclenchement de tâches à l’intérieur d’un connecteur en fonction de la configuration en utilisant les tâches Snowflake en dessous.
Dépendances¶
Composante essentielle
Composant de la configuration de l’application
Composant de configuration du connecteur
Composant des statistiques des connecteurs¶
Le composant des statistiques des connecteurs offre des vues utiles pour consulter les métadonnées des tâches d’ingestion effectuées. Il est utile de surveiller la quantité de données qui circulent dans le connecteur.
Dépendances¶
Composant d’ingestion
Composant du statut de la synchronisation¶
Le composant du statut de la synchronisation offre une vue permettant de vérifier rapidement la date de la dernière synchronisation des données.
Dépendances¶
Composant d’ingestion
Composant des statistiques des connecteurs
Composant de Task Reactor¶
Task Reactor est un composant qui fournit un mécanisme permettant de mettre en file d’attente les éléments de travail et de les répartir entre un certain nombre de tâches worker. Le nombre de tâches worker peut être modifié pour en accueillir davantage en cas de charge de travail importante.
Dépendances¶
Ce composant ne dépend pas d’autres composants.