Chargement en masse à partir d’Amazon S3¶
Si vous avez déjà un compte Amazon Web Services (AWS) et que vous utilisez des compartiments S3 pour stocker et gérer vos fichiers de données, vous pouvez utiliser vos compartiments et chemins de dossier existants pour charger des données en lots dans Snowflake. Cet ensemble de chapitres décrit la manière d’utiliser la commande COPY pour charger en lot des données à partir d’un compartiment S3 dans des tables.
Comme l’illustre le diagramme ci-dessous, le chargement des données à partir d’un compartiment S3 s’effectue en deux étapes :
- Étape 1:
Snowflake suppose que les fichiers de données ont déjà été préparés dans un compartiment S3. Si ce n’est pas encore le cas, utilisez les interfaces/utilitaires de chargement fournis par AWS pour préparer les fichiers.
- Étape 2:
Utilisez la commande COPY INTO <table> pour charger le contenu du ou des fichiers préparés dans une table de base de données Snowflake. Vous pouvez charger des fichiers directement à partir du compartiment, mais Snowflake recommande de créer une zone de préparation externe qui référence le compartiment et d’utiliser plutôt la zone de préparation externe.
Quelle que soit la méthode que vous utilisez, cette étape nécessite l’exécution d’un entrepôt virtuel en cours d’exécution pour la session si vous exécutez la commande manuellement ou dans un script. L’entrepôt fournit les ressources de calcul pour effectuer l’insertion réelle des lignes dans la table.
Note
Snowflake utilise les points de terminaison d’Amazon S3 Gateway dans chacun de ses Amazon Virtual Private Cloud.
Si le compartiment S3 référencé par votre zone de préparation externe se trouve dans la même région que votre compte Snowflake, votre trafic réseau ne traverse pas l’Internet public. Les points de terminaison Amazon S3 Gateway garantissent que le trafic régional reste dans le réseau AWS.
Astuce
Les instructions de cet ensemble de chapitres supposent que vous avez lu Préparation au chargement de données et que vous avez créé un format de fichier nommé, le cas échéant.
Avant de commencer, vous pouvez également lire Considérations relatives au chargement de données pour connaître les bonnes pratiques, les conseils et autres instructions.
Chapitres suivants :
Tâches de configuration (à compléter au besoin) :
Tâches de chargement des données (à compléter pour chaque ensemble de fichiers que vous chargez) :