Chargement en lot à partir de Microsoft Azure

Si vous avez déjà un compte Microsoft Azure et que vous utilisez des conteneurs de stockage Blob Azure pour stocker et gérer vos fichiers de données, vous pouvez utiliser vos conteneurs et chemins de dossiers existants pour charger les données dans Snowflake.

Cet ensemble de chapitres décrit comment utiliser la commande COPY pour charger des données à partir d’un conteneur Azure dans des tables.

Snowflake prend actuellement en charge le chargement à partir du stockage d’objets blob uniquement. Snowflake prend en charge les types de comptes de stockage suivants :

  • Stockage d’objets blob

  • Data Lake Storage Gen2

  • Usage général v1

  • Usage général v2

Snowflake ne prend pas en charge Data Lake Storage Gen1.

Note

Le chargement à partir de blobs de bloc, d’ajout et de page est pris en charge. Les fichiers déchargés sont créés sous forme de blocs blobs. Pour plus d’informations sur ces types de blobs, voir la documentation Azure sur les types de blob.

Si un espace de noms hiérarchique est activé sur Data Lake Storage Gen2, Snowflake ne prend pas en charge la purge des fichiers avec la commande COPY.

Comme l’illustre le schéma ci-dessous, le chargement des données d’un conteneur Azure s’effectue en deux étapes :

Étape 1

Snowflake suppose que les fichiers de données ont déjà été préparés dans un conteneur Azure. Si ce n’est pas encore le cas, utilisez les interfaces/utilitaires de chargement fournis par Microsoft pour préparer les fichiers.

Étape 2

Utilisez la commande COPY INTO <table> pour charger le contenu du ou des fichiers préparés dans une table de base de données Snowflake. Vous pouvez charger des fichiers directement à partir du compartiment, mais Snowflake recommande de créer une zone de préparation externe qui référence le compartiment et d’utiliser plutôt la zone de préparation externe.

Quelle que soit la méthode que vous utilisez, cette étape nécessite l’exécution d’un entrepôt virtuel en cours d’exécution pour la session si vous exécutez la commande manuellement ou dans un script. L’entrepôt fournit les ressources de calcul pour effectuer l’insertion réelle des lignes dans la table.

Data loading overview

Astuce

Les instructions de cet ensemble de chapitres supposent que vous avez lu Préparation du chargement des données et que vous avez créé un format de fichier nommé, le cas échéant.

Avant de commencer, vous pouvez également lire Remarques relatives au chargement des données pour connaître les bonnes pratiques, les conseils et autres instructions.

Chapitres suivants :

Langage: Français