SDK natif Snowflake pour les connecteurs¶

Le SDK natif Snowflake pour les connecteurs (phase 1) est un ensemble de modèles d’application et de démarrages rapides qui montrent comment créer une application native Snowflake qui ingère les données d’une source de données externe dans Snowflake. Ces modèles couvrent les modèles d’intégration des données basés sur le pull et le push.

Ces modèles ne restreignent ni ne limitent les développeurs. Au lieu de cela, les modèles fournissent des exemples sur la façon d’utiliser les fonctionnalités principales de Snowflake pour intégrer des données et encapsuler le code d’application dans une Snowflake Native App.

Le Snowflake Native App Framework permet aux fournisseurs de publier et de monétiser une Snowflake Native App sur Snowflake Marketplace. Les développeurs Snowflake Native App peuvent cloner le référentiel de modèles, modifier le code passe-partout et créer leurs propres connecteurs Snowflake.

Modèles de connecteurs basés sur le pull et démarrages rapides¶

Les modèles basés sur le pull sont efficaces lorsque le fournisseur de données source ne gère pas les données client dans Snowflake et n’est pas disposé à payer COGS pour un partage continu de données dans Snowflake. Ces modèles sont également efficaces lorsqu’un fournisseur de données sources dispose d’APIs bien documentées que les clients peuvent utiliser pour répliquer et consommer des données.

Comment utiliser un modèle basé sur le pull¶

En utilisant un modèle de connecteur basé sur le pull, les fournisseurs (Snowflake ou un fournisseur ETL tiers) peuvent publier et distribuer un connecteur natif basé sur une application native Snowflake à l’aide de Snowflake Marketplace. Un connecteur natif utilise un accès externe direct pour se connecter à l’application source. Un connecteur natif effectue une authentification sortante, récupère les données de la source directement dans un compte client, traite et conserve les données en fonction de la configuration spécifiée par l’utilisateur.

Le graphique suivant montre une architecture possible lors de l’utilisation d’un modèle basé sur le pull pour développer un connecteur natif :

Informations supplémentaires¶

Consultez les liens suivants pour afficher les modèles et les démarrages rapides :

Modèle de connecteur basé sur le push et démarrage rapide¶

L’utilisation d’un modèle basé sur le push est efficace lorsque l’accès entrant à l’application source via le pare-feu client n’est pas réalisable en raison de limitations de sécurité, de performances ou de gouvernance. Ce modèle utilise un agent et une application native Snowflake pour permettre aux clients d’intégrer les modifications de données dans Snowflake derrière un pare-feu.

Comment utiliser un modèle basé sur le push¶

Un agent est une application autonome, distribuée sous forme d’image Docker, déployée dans un environnement client et chargée d’envoyer les charges initiales et incrémentielles à Snowflake en lisant les modifications de données à partir du flux source CDC.

Une application native Snowflake s’exécute dans Snowflake et coordonne l’intégration. L’application native Snowflake est principalement responsable de la gestion du processus de réplication, du contrôle de l’état de l’agent et de la création des objets requis, y compris les bases de données cibles.

Le graphique suivant montre une architecture possible lors de l’utilisation d’un modèle basé sur le push pour développer un connecteur natif :

Informations supplémentaires¶

Consultez les liens suivants pour afficher des exemples et le démarrage rapide :

Étapes suivantes pour le SDK natif Snowflake pour les connecteurs¶

Avec la phase 2 du SDK natif Snowflake pour les connecteurs, Snowflake a l’intention d’ajouter des exemples supplémentaires qui montrent comment gérer les tâches d’intégration, comment généraliser les blocs de connecteurs courants sous la forme de bibliothèques réutilisables, et bien plus encore. Veuillez noter que les exemples spécifiques, les nouvelles bibliothèques ou autres ajouts et mises à jour sont susceptibles de changer.

Pour vous inscrire à l’avant-première en phase 2, consultez la page SDK natif Snowflake pour les connecteurs.