Verwalten des regelmäßigen Ladens von Daten

Dieses Thema enthält bewährte Verfahren, allgemeine Richtlinien und wichtige Hinweise für die Verwaltung des regelmäßigen Ladens von Daten.

Unter diesem Thema:

Partitionierung von Staging-Datendateien

Bei der Planung des regelmäßigen Ladens von Daten wie ETL (Extrahieren, Transformieren, Laden) von Prozessen oder dem regelmäßigen Import von maschinell generierten Daten ist es wichtig, die Daten in Ihrem internen (d. h. Snowflake) Stagingbereich oder an externe Standorte (S3-Bucket oder Azure-Container) mit logischen, granularen Pfaden zu verteilen. Erstellen Sie eine Partitionsstruktur, die Details wie Anwendung oder Speicherort sowie das Datum, an dem die Daten geschrieben wurden, identifiziert. Sie können dann jeden Bruchteil der partitionierten Daten mit einem einzigen Befehl in Snowflake kopieren. Wenn Sie anfangs Ihre Tabellen füllen, können Sie Daten stunden-, tage-, monats- oder sogar jahresweise nach Snowflake kopieren.

Einige Beispiele für partitionierte S3-Buckets mit Pfaden:

s3://Bucketname/Anwendung_eins/2016/07/01/11/

s3://Bucketname/Anwendung_zwei/Speicherort_eins/2016/07/01/14/

Wobei:

Anwendung_eins, Anwendung_zwei, Speicherort_eins usw.

Identifizieren von Details für die Quelle aller Daten im Pfad. Die Daten können nach dem Datum organisiert werden, an dem sie geschrieben wurden. Ein optionales 24-Stunden-Verzeichnis reduziert die Datenmenge in jedem Verzeichnis.

Bemerkung

S3 sendet eine Verzeichnisliste mit jeder COPY-Anweisung, die von Snowflake verwendet wird, sodass die Reduzierung der Anzahl der Dateien in jedem Verzeichnis die Leistung Ihrer COPY-Anweisungen verbessert. Sie können sogar erwägen, Unterordner mit Schritten von 10–15 Minuten innerhalb der Ordner für jede Stunde zu erstellen.

Ebenso können Sie auch einen Pfad hinzufügen, wenn Sie Dateien in einem internen Stagingbereich bereitstellen. Beispiel:

PUT file:///tmp/file_20160701.11*.csv @my_stage/<application_one>/<location_one>/2016/07/01/11/;

Laden von bereitgestellten Daten

Laden Sie organisierte Datendateien in Snowflake-Tabellen, indem Sie den genauen Pfad zu den Stagingdateien angeben. Weitere Informationen finden Sie unter Daten nach Pfaden organisieren.

Entfernen geladener Datendateien

Wenn Daten aus Stagingdateien erfolgreich geladen wurden, sollten Sie erwägen, die Stagingdateien zu entfernen, um sicherzustellen, dass die Daten nicht versehentlich erneut geladen (dupliziert) werden.

Bereitgestellte Dateien können aus einem Snowflake-Stagingbereich (Benutzer-Stagingbereich, Tabellen-Stagingbereich oder benannter Stagingbereich) mit den folgenden Methoden gelöscht werden:

  • Dateien, die erfolgreich geladen wurden, können während eines Ladevorgangs aus dem Stagingbereich gelöscht werden, indem Sie die Kopieroption PURGE im Befehl COPY INTO <Tabelle> angeben.

  • Nachdem das Laden abgeschlossen ist, verwenden Sie den Befehl REMOVE, um die Dateien aus dem Stagingbereich zu entfernen.

Das Entfernen von Dateien stellt sicher, dass sie nicht versehentlich erneut geladen werden. Es verbessert auch die Ladeleistung, da es die Anzahl der Dateien reduziert, die COPY-Befehle scannen müssen, um zu überprüfen, ob bereits vorhandene Dateien in einem Stagingbereich bereits geladen wurden.