Snowflake, Inc.
|
DOKUMENTATION
  • Snowflake Summit
  • Community
  • Ressourcen
  • Blog
      • SPRACHEN:
      • Deutsch
      • English
      • Français
      • 日本語
      • 한국어
  • Erste Schritte
  • Einführung in Snowflake
  • Tutorials, Videos und andere Ressourcen
  • Versionshinweise
  • Verbinden mit Snowflake
  • Laden von Daten in Snowflake
    • Übersicht zum Laden von Daten
    • Übersicht der Funktionen zum Laden von Daten
    • Hinweise zum Laden von Daten
    • Vorbereiten des Ladens von Daten
    • Massenladen mit COPY
    • Kontinuierliches Laden mit Snowpipe
    • Laden mithilfe der Weboberfläche (eingeschränkt)
    • Abfragen von Daten in Stagingdateien
    • Abfragen von Metadaten für bereitgestellte Dateien
    • Transformieren von Daten während eines Ladevorgangs
    • Tutorials zum Laden von Daten
      • Verwendung der Tutorials
      • Tutorial: Massenladen aus einem lokalen Dateisystem mit COPY
        • Voraussetzungen
        • Schritt 1: Dateiformatobjekte erstellen
        • Schritt 2: Stagingobjekt erstellen
        • Schritt 3: Datendateien im Stagingbereich bereitstellen
        • Schritt 4. Liste der Stagingdateien (optional)
        • Schritt 5. Daten in die Zieltabellen kopieren
        • Schritt 6. Beheben von Datenladefehlern im Zusammenhang mit Datenproblemen
          • Fehler überprüfen
          • Fehler beheben und neu laden
        • Schritt 7. Überprüfen der geladenen Daten
        • Schritt 8. Entfernen der erfolgreich geladenen Datendateien
        • Schritt 9. Herzlichen Glückwunsch!
      • Tutorial: Massenladen aus Amazon S3 mit COPY
      • Skript: Laden von JSON-Daten in eine relationale Tabelle
      • Skript: Laden und Entladen von Parquet-Daten
  • Entladen von Daten aus Snowflake
  • Verwenden von Snowflake
  • Sicheres Freigeben von Daten in Snowflake
  • Verwalten Ihrer Snowflake-Organisation
  • Verwalten Ihres Snowflake-Kontos
  • Verwalten der Sicherheit in Snowflake
  • Verwalten von Governance in Snowflake
  • Verwalten der Kosten in Snowflake
  • Entwickeln von Anwendungen in Snowflake
  • Allgemeine Referenz
  • SQL-Befehlsreferenz
  • SQL-Funktionsreferenz
  • Snowflake Scripting-Referenz
  • API-Referenz
  • Anhänge
  • Snowflake Summit 2022: Anwenderkonferenz
Nächste Vorherige |
  • Dokumentation »
  • Laden von Daten in Snowflake »
  • Tutorials zum Laden von Daten »
  • Tutorial: Massenladen aus einem lokalen Dateisystem mit COPY »
  • Schritt 6. Beheben von Datenladefehlern im Zusammenhang mit Datenproblemen

Schritt 6. Beheben von Datenladefehlern im Zusammenhang mit Datenproblemen¶

.

Schrittliste

  • Voraussetzungen

  • Schritt 1: Dateiformatobjekte erstellen

  • Schritt 2: Stagingobjekt erstellen

  • Schritt 3: Datendateien im Stagingbereich bereitstellen

  • Schritt 4. Liste der Stagingdateien (optional)

  • Schritt 5. Daten in die Zieltabellen kopieren

  • Schritt 6. Beheben von Datenladefehlern im Zusammenhang mit Datenproblemen

  • Schritt 7. Überprüfen der geladenen Daten

  • Schritt 8. Entfernen der erfolgreich geladenen Datendateien

  • Schritt 9. Herzlichen Glückwunsch!

Verwenden Sie die Funktion VALIDATE, um die von Ihnen geladenen Datendateien zu überprüfen und alle während des Ladevorgangs aufgetretenen Fehler zurückzugeben.

Fehler überprüfen¶

Der folgende Prozess gibt Fehler nach Abfrage-ID zurück und speichert die Ergebnisse zur späteren Verwendung in einer Tabelle.

Sie können die Abfrage-ID für den COPY-Job auf der Seite History History tab der Weboberfläche anzeigen:

  1. Melden Sie sich bei der klassischen Weboberfläche an.

  2. Wechseln Sie zu der Rolle, mit der Sie die SQL-Anweisungen des Tutorials ausgeführt haben.

  3. Klicken Sie auf History History tab.

  4. Klicken Sie auf den Spaltenlink Query ID für den Befehl COPY INTO. Das Fenster Details wird geöffnet.

  5. Kopieren Sie den Query ID-Wert.

  6. Führen Sie über die Befehlszeilenschnittstelle (z. B. SnowSQL) den folgenden Befehl aus. Ersetzen Sie Abfrage-ID durch den Wert Query ID.

    CREATE OR REPLACE TABLE save_copy_errors AS SELECT * FROM TABLE(VALIDATE(mycsvtable, JOB_ID=>'<query_id>'));
    
  7. Führen Sie eine Abfrage auf der Ergebnistabelle aus:

    SELECT * FROM SAVE_COPY_ERRORS;
    

    Snowflake gibt die folgenden Ergebnisse zurück:

    +----------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------+------+-----------+-------------+----------+--------+-----------+-------------------------------+------------+----------------+-----------------------------------------------------------------------------------------------------------------------------------------------------+
    | ERROR                                                                                                                                                                | FILE                                | LINE | CHARACTER | BYTE_OFFSET | CATEGORY |   CODE | SQL_STATE | COLUMN_NAME                   | ROW_NUMBER | ROW_START_LINE | REJECTED_RECORD                                                                                                                                     |
    |----------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------+------+-----------+-------------+----------+--------+-----------+-------------------------------+------------+----------------+-----------------------------------------------------------------------------------------------------------------------------------------------------|
    | Number of columns in file (11) does not match that of the corresponding table (10), use file format option error_on_column_count_mismatch=false to ignore this error | mycsvtable/contacts3.csv.gz         |    3 |         1 |         234 | parsing  | 100080 |     22000 | "MYCSVTABLE"[11]              |          1 |              2 | 11|Ishmael|Burnett|Dolor Elit Pellentesque Ltd|vitae.erat@necmollisvitae.ca|1-872|600-7301|1-513-592-6779|P.O. Box 975, 553 Odio, Road|Hulste|63345 |
    | Field delimiter '|' found while expecting record delimiter '\n'                                                                                                      | mycsvtable/contacts3.csv.gz         |    5 |       125 |         625 | parsing  | 100016 |     22000 | "MYCSVTABLE"["POSTALCODE":10] |          4 |              5 | 14|Sophia|Christian|Turpis Ltd|lectus.pede@non.ca|1-962-503-3253|1-157-|850-3602|P.O. Box 824, 7971 Sagittis Rd.|Chattanooga|56188                  |
    +----------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------+------+-----------+-------------+----------+--------+-----------+-------------------------------+------------+----------------+-----------------------------------------------------------------------------------------------------------------------------------------------------+
    

Snowflake hat in mycsvtable/contacts3.csv.gz zwei Datenfehler festgestellt:

  • Number of columns in file (11) does not match that of the corresponding table (10)

    In Zeile 1 wurde ein Bindestrich versehentlich durch das Pipe-Zeichen (|), das Trennzeichen der Datendatei, ersetzt, wodurch eine zusätzliche Spalte im Datensatz erzeugt wurde.

    Example 1 data error in record
  • Field delimiter '|' found while expecting record delimiter '\n'

    In Zeile 5 wurde nach einem Bindestrich ein zusätzliches Pipe-Zeichen (|) eingefügt, wodurch der Datensatz unterbrochen wird.

    Example 1 data error in record

Fehler beheben und neu laden¶

  1. Beheben Sie die Fehler in problematischen Datensätze manuell in contacts3.csv in Ihrer lokalen Umgebung. Bei regelmäßigem Gebrauch können Sie alternativ eine neue Datendatei aus der Datenquelle generieren, die nur die Datensätze enthält, die nicht geladen wurden.

  2. Stellen Sie die bearbeitete Datendatei im Stagingbereich zum Laden bereit. Die geänderte Datei überschreibt die bestehende Stagingdatei.

    • Linux oder macOS:

      PUT file:///tmp/load/contacts3.csv @my_csv_stage AUTO_COMPRESS=TRUE OVERWRITE=TRUE;
      
    • Windows:

      PUT file://C:\temp\load\contacts3.csv @my_csv_stage AUTO_COMPRESS=TRUE OVERWRITE=TRUE;
      
  3. Laden Sie die Daten aus der Datei neu.

    COPY INTO mycsvtable
      FROM @my_csv_stage/contacts3.csv.gz
      FILE_FORMAT = (FORMAT_NAME = mycsvformat)
      ON_ERROR = 'skip_file';
    

Snowflake liefert die folgenden Ergebnisse, die anzeigen, dass die Daten in contacts3.csv.gz erfolgreich geladen wurden.

+-----------------------------+--------+-------------+-------------+-------------+-------------+-------------+------------------+-----------------------+-------------------------+
| file                        | status | rows_parsed | rows_loaded | error_limit | errors_seen | first_error | first_error_line | first_error_character | first_error_column_name |
|-----------------------------+--------+-------------+-------------+-------------+-------------+-------------+------------------+-----------------------+-------------------------|
| mycsvtable/contacts3.csv.gz | LOADED |           5 |           5 |           1 |           0 |        NULL |             NULL |                  NULL |                    NULL |
+-----------------------------+--------+-------------+-------------+-------------+-------------+-------------+------------------+-----------------------+-------------------------+

Nächstes Thema: Schritt 7. Überprüfen der geladenen Daten

Nächste Vorherige |
  • Community fragen
  • Support kontaktieren
  • Doku-Problem melden
Snowflake Inc.
  • Plattform
    • Clouddatenplattform
    • Architektur
    • Preise
    • Data Marketplace
  • Lösungen
    • Snowflake in Gesundheitswesen & Life Science
    • Snowflake in Marketinganalytik
    • Snowflake im Einzelhandel
    • Snowflake im Bildungswesen
    • Snowflake für Entwickler
  • Ressourcen
    • Ressourcenbibliothek
    • Webinare
    • Community
    • Rechtliche Hinweise
  • Entdecken
    • Neuigkeiten
    • Blog
    • Beliebte Themen
  • Über
    • Über Snowflake
    • Unternehmensleitung & Vorstand
    • Karriere
    • Kontakt
  • Datenschutz
  • Nutzungsbedingungen

© 2022 Snowflake Inc. All Rights Reserved