Automatisation du chargement continu des données à l’aide de la messagerie Cloud

Les chargements de données automatisés exploitent les notifications d’événement pour le stockage dans le Cloud pour informer Snowpipe de l’arrivée de nouveaux fichiers de données à charger. Snowpipe copie les fichiers dans une file d’attente, à partir de laquelle ils sont chargés dans la table cible de manière continue, sans serveur, en fonction de paramètres définis dans un objet de canal spécifié.

Note

  • Snowpipe automatisé utilise des notifications d’événement pour déterminer quand de nouveaux fichiers arrivent dans le stockage Cloud surveillé et sont prêts à être chargés. Les notifications identifient l’événement de stockage Cloud et incluent une liste des noms de fichiers. Elles n’incluent pas les données réelles dans les fichiers.

  • Lorsqu’un canal est mis en pause, les messages d’événements reçus pour ce canal entrent dans une période de conservation limitée. La période est de 14 jours par défaut. Si un canal est mis en pause pendant plus de 14 jours, il est considéré comme obsolète.

    Les notifications d’événements reçues lorsqu’un canal est en pause ne sont conservées que pendant une période limitée (14 jours). Lorsque chaque notification arrive à la fin de cette période, Snowflake programme son retrait des métadonnées internes. Si le canal est repris par la suite, Snowpipe peut traiter les notifications datant de plus de 14 jours dans la mesure du possible. Snowflake ne peut garantir le traitement de ces anciennes notifications.

    Pour plus d’informations sur la reprise des canaux obsolètes, voir Gestion de Snowpipe.

Le tableau suivant indique les services de stockage Cloud pris en charge pour le chargement de données automatique dans votre compte Snowflake à l’aide de notifications d’événements de stockage Cloud, en fonction de la plate-forme Cloud qui héberge votre compte :

Hôte de compte Snowflake

Amazon S3

Google Cloud Storage

Stockage Microsoft Azure Blob

Microsoft Data Lake Storage Gen2

Microsoft Azure à usage général v2

Amazon Web Services

Google Cloud Platform

Microsoft Azure

Chapitres suivants :