Chargement en masse à partir d’Amazon S3¶
If you already have an Amazon Web Services (AWS) account and use S3 buckets for storing and managing your data files, you can make use of your existing buckets and folder paths for bulk loading into Snowflake. This set of topics describes how to use the COPY command to bulk load from an S3 bucket into tables.
Comme l’illustre le diagramme ci-dessous, le chargement des données à partir d’un compartiment S3 s’effectue en deux étapes :
- Étape 1:
Snowflake suppose que les fichiers de données ont déjà été préparés dans un compartiment S3. Si ce n’est pas encore le cas, utilisez les interfaces/utilitaires de chargement fournis par AWS pour préparer les fichiers.
- Étape 2:
Utilisez la commande COPY INTO <table> pour charger le contenu du ou des fichiers préparés dans une table de base de données Snowflake. Vous pouvez charger des fichiers directement à partir du compartiment, mais Snowflake recommande de créer une zone de préparation externe qui référence le compartiment et d’utiliser plutôt la zone de préparation externe.
Quelle que soit la méthode que vous utilisez, cette étape nécessite l’exécution d’un entrepôt virtuel en cours d’exécution pour la session si vous exécutez la commande manuellement ou dans un script. L’entrepôt fournit les ressources de calcul pour effectuer l’insertion réelle des lignes dans la table.
Note
Snowflake utilise les points de terminaison d’Amazon S3 Gateway dans chacun de ses Amazon Virtual Private Cloud.
Tant que votre compte Snowflake est hébergé sur AWS, votre trafic réseau ne traverse pas l’Internet public. Cela est vrai quelle que soit la région dans laquelle se trouve votre compartiment S3.
Astuce
Les instructions de cet ensemble de chapitres supposent que vous avez lu Préparation au chargement de données et que vous avez créé un format de fichier nommé, le cas échéant.
Avant de commencer, vous pouvez également lire Considérations relatives au chargement de données pour connaître les bonnes pratiques, les conseils et autres instructions.
Chapitres suivants :
Tâches de configuration (à compléter au besoin) :
Tâches de chargement des données (à compléter pour chaque ensemble de fichiers que vous chargez) :