Massenladen aus Amazon S3¶
Wenn Sie bereits ein Amazon Web Services (AWS)-Konto haben und S3-Buckets zur Speicherung und Verwaltung Ihrer Datendateien verwenden, können Sie Ihre vorhandenen Buckets und Ordnerpfade für das Massenladen von Dateien in Snowflake verwenden. Unter diesem Thema wird beschrieben, wie Sie den Befehl COPY zum Massenladen von Dateien aus einem S3-Bucket in Tabellen verwenden.
Wie in der folgenden Abbildung dargestellt, erfolgt das Laden von Daten aus einem S3-Bucket in zwei Schritten:
- Schritt 1:
Snowflake geht davon aus, dass die Datendateien bereits in einem S3-Bucket bereitgestellt wurden. Wenn sie noch nicht bereitgestellt wurden, verwenden Sie die von AWS bereitgestellten Upload-Schnittstellen/Dienstprogramme, um die Dateien bereitzustellen.
- Schritt 2:
Verwenden Sie den Befehl COPY INTO <Tabelle>, um den Inhalt der bereitgestellten Datei(en) in eine Snowflake-Datenbanktabelle zu laden. Sie können direkt aus dem Bucket laden, aber Snowflake empfiehlt, einen externen Stagingbereich zu erstellen, der auf den Bucket verweist, und stattdessen den externen Stagingbereich zu verwenden.
Unabhängig davon, welche Methode Sie verwenden, erfordert dieser Schritt ein aktives, aktuelles virtuelles Warehouse für die Sitzung, wenn Sie den Befehl manuell oder aus einem Skript heraus ausführen. Das Warehouse stellt die Computeressourcen zur Verfügung, um das eigentliche Einfügen von Zeilen in die Tabelle durchzuführen.
Bemerkung
Snowflake verwendet Amazon S3-Gateway-Endpunkte in jeder seiner Amazon Virtual Private Clouds.
Befindet sich der von Ihrem externen Stagingbereich referenzierte S3-Bucket in derselben Region wie Ihr Snowflake-Konto, wird Ihr Netzwerkdatenverkehr nicht das öffentliche Internet durchlaufen. Die Amazon S3-Gateway-Endpunkte stellen sicher, dass der regionale Datenverkehr im AWS-Netzwerk verbleibt.
Tipp
Die unter diesem Thema bereitgestellte Anleitung geht davon aus, dass Sie Vorbereiten des Ladens von Daten gelesen und ggf. ein benanntes Dateiformat erstellt haben.
Bevor Sie beginnen, sollten Sie vielleicht auch Hinweise zum Laden von Daten für bewährte Verfahren, Tipps und andere Hinweise lesen.
Nächste Themen:
Konfigurationsaufgaben (nach Bedarf ausführen):
Datenladeaufgaben (für jeden Satz von Dateien, die Sie laden, ausführen):