Kopieren von Daten aus einem S3-Stagingbereich

Laden Sie Daten aus Ihren Stagingdateien in die Zieltabelle.

Unter diesem Thema:

Laden Ihrer Daten

Führen Sie COPY INTO <Tabelle> aus, um Ihre Daten in die Zieltabelle zu laden.

Bemerkung

Das Laden von Daten erfordert ein Warehouse. Wenn Sie ein Warehouse verwenden, das nicht für die automatische Fortsetzung konfiguriert ist, führen Sie ALTER WAREHOUSE aus, um das Warehouse fortzusetzen. Beachten Sie, dass der Start eines Warehouse bis zu fünf Minuten dauern kann.

ALTER WAREHOUSE mywarehouse RESUME;
Copy

Im folgenden Beispiel werden Daten aus Dateien in den benannten my_ext_stage-Stagingbereich geladen, der in Erstellen eines S3-Stagingbereichs erstellt wurden. Mithilfe der Mustererkennung lädt die Anweisung nur Dateien, deren Namen mit der Zeichenfolge sales beginnen:

COPY INTO mytable
  FROM @my_ext_stage
  PATTERN='.*sales.*.csv';
Copy

Beachten Sie, dass keine Dateiformatoptionen angegeben werden, da in der Stagingbereichsdefinition ein benanntes Dateiformat enthalten ist.

Im folgenden Beispiel werden alle Dateien mit dem Präfix data/files in Ihren S3-Bucket unter Verwendung des benannten my_csv_format-Dateiformats geladen, das in Vorbereiten des Ladens von Daten erstellt wurde:

COPY INTO mytable
  FROM s3://mybucket/data/files credentials=(AWS_KEY_ID='$AWS_ACCESS_KEY_ID' AWS_SECRET_KEY='$AWS_SECRET_ACCESS_KEY')
  FILE_FORMAT = (FORMAT_NAME = my_csv_format);
Copy

Im folgenden Ad-hoc-Beispiel werden Daten aus allen im S3-Bucket befindlichen Dateien geladen. Der Befehl COPY gibt Dateiformatoptionen an, anstatt auf ein benanntes Dateiformat zu verweisen. In diesem Beispiel werden CSV-Dateien mit einem Feldtrennzeichen für Pipe (|) geladen. Der Befehl COPY überspringt die erste Zeile in den Datendateien:

COPY INTO mytable
  FROM s3://mybucket credentials=(AWS_KEY_ID='$AWS_ACCESS_KEY_ID' AWS_SECRET_KEY='$AWS_SECRET_ACCESS_KEY')
  FILE_FORMAT = (TYPE = CSV FIELD_DELIMITER = '|' SKIP_HEADER = 1);
Copy

Validieren Ihrer Daten

Vor dem Laden Ihrer Daten können Sie überprüfen, ob die Daten in den hochgeladenen Dateien korrekt geladen werden.

Um Daten in einer hochgeladenen Datei zu validieren, führen Sie COPY INTO <Tabelle> im Validierungsmodus mit dem Parameter VALIDATION_MODE aus. Der Parameter VALIDATION_MODE gibt Fehler zurück, die er in der Datei findet. Sie können dann die Daten in der Datei ändern, um sicherzustellen, dass sie ohne Fehler geladen werden.

Darüber hinaus stellt COPY INTO <Tabelle> die Kopieroption ON_ERROR zur Verfügung, um eine Aktion anzugeben, die ausgeführt werden soll, wenn beim Laden Fehler in einer Datei auftreten.

Überwachen des Ladens von Daten

Snowflake speichert historische Daten für COPY INTO-Befehle, die in den letzten 14 Tagen ausgeführt wurden. Die Metadaten können zur Überwachung und Verwaltung des Ladevorgangs verwendet werden, einschließlich des Löschens von Dateien nach Abschluss des Hochladens:

  • Überwachen Sie auf der Seite History Registerkarte „Verlauf“ der klassischen Weboberfläche den Status der einzelnen COPY INTO <Tabelle>-Befehle.

  • Verwenden Sie die Information Schema-Ansicht LOAD_HISTORY, um den Verlauf der in Tabellen geladenen Daten mit dem Befehl COPY INTO abzurufen.

Kopieren von Dateien zwischen Stagingbereichen

Verwenden Sie den Befehl COPY FILES, um Daten an einem einzigen Ort zu organisieren, indem Sie Dateien von einem benannten Stagingbereich in einen anderen kopieren.

Im folgenden Beispiel werden alle Dateien von einem Quell-Stagingbereich (src_stage) in einen Ziel-Stagingbereich (trg_stage) kopiert:

COPY FILES
  INTO @trg_stage
  FROM @src_stage;
Copy

Sie können auch eine Liste von Dateinamen angeben, die kopiert werden sollen, oder Dateien mithilfe der Mustererkennung kopieren. Weitere Informationen dazu finden Sie unter COPY FILES-Beispiele.

Sprache: Deutsch