Automatisation du chargement continu des données à l’aide de la messagerie Cloud¶
Les chargements de données automatisés exploitent les notifications d’événement pour le stockage dans le Cloud pour informer Snowpipe de l’arrivée de nouveaux fichiers de données à charger. Snowpipe copie les fichiers dans une file d’attente, à partir de laquelle ils sont chargés dans la table cible de manière continue, sans serveur, en fonction de paramètres définis dans un objet de canal spécifié.
Note
Snowpipe automatisé utilise des notifications d’événement pour déterminer quand de nouveaux fichiers arrivent dans le stockage Cloud surveillé et sont prêts à être chargés. Les notifications identifient l’événement de stockage Cloud et incluent une liste des noms de fichiers. Elles n’incluent pas les données réelles dans les fichiers.
Lorsqu’un canal est mis en pause, les messages d’événements reçus pour ce canal entrent dans une période de conservation limitée. La période est de 14 jours par défaut. Si un canal est mis en pause pendant plus de 14 jours, il est considéré comme obsolète.
Les notifications d’événements reçues lorsqu’un canal est en pause ne sont conservées que pendant une période limitée (14 jours). Lorsque chaque notification arrive à la fin de cette période, Snowflake programme son retrait des métadonnées internes. Si le canal est repris par la suite, Snowpipe peut traiter les notifications datant de plus de 14 jours dans la mesure du possible. Snowflake ne peut garantir le traitement de ces anciennes notifications.
Pour plus d’informations sur la reprise des canaux obsolètes, voir Gestion de Snowpipe.
Le tableau suivant indique les services de stockage Cloud pris en charge pour le chargement de données automatique dans votre compte Snowflake à l’aide de notifications d’événements de stockage Cloud, en fonction de la plate-forme Cloud qui héberge votre compte :
Hôte de compte Snowflake |
Amazon S3 |
Google Cloud Storage |
Stockage Microsoft Azure Blob |
Microsoft Data Lake Storage Gen2 |
Microsoft Azure à usage général v2 |
|---|---|---|---|---|---|
Amazon Web Services |
✔ |
✔ |
✔ |
✔ |
✔ |
Google Cloud Platform |
✔ |
✔ |
✔ |
✔ |
✔ |
Microsoft Azure |
✔ |
✔ |
✔ |
✔ |
✔ |
Important
Snowflake recommande d’activer le filtrage des événements dans le Cloud pour Snowpipe afin de réduire les coûts, le bruit des événements et la latence. Pour plus d’informations sur la configuration du filtrage des événements pour chaque fournisseur de Cloud, consultez les pages suivantes :
Chapitres suivants :