Schritt 6. Beheben von Datenladefehlern im Zusammenhang mit Datenproblemen¶
Verwenden Sie die Funktion VALIDATE, um die von Ihnen geladenen Datendateien zu überprüfen und alle während des Ladevorgangs aufgetretenen Fehler zurückzugeben.
Fehler überprüfen¶
Der folgende Prozess gibt Fehler nach Abfrage-ID zurück und speichert die Ergebnisse zur späteren Verwendung in einer Tabelle.
Sie können die Abfrage-ID für den COPY-Job auf der Seite History 
der Weboberfläche anzeigen:
Melden Sie sich bei der klassischen Weboberfläche an.
Wechseln Sie zu der Rolle, mit der Sie die SQL-Anweisungen des Tutorials ausgeführt haben.
Klicken Sie auf History
.Klicken Sie auf den Spaltenlink Query ID für den Befehl COPY INTO. Das Fenster Details wird geöffnet.
Kopieren Sie den Query ID-Wert.
Führen Sie über die Befehlszeilenschnittstelle (z. B. SnowSQL) den folgenden Befehl aus. Ersetzen Sie
Abfrage-IDdurch den Wert Query ID.CREATE OR REPLACE TABLE save_copy_errors AS SELECT * FROM TABLE(VALIDATE(mycsvtable, JOB_ID=>'<query_id>'));
Führen Sie eine Abfrage auf der Ergebnistabelle aus:
SELECT * FROM SAVE_COPY_ERRORS;
Snowflake gibt die folgenden Ergebnisse zurück:
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------+------+-----------+-------------+----------+--------+-----------+-------------------------------+------------+----------------+-----------------------------------------------------------------------------------------------------------------------------------------------------+ | ERROR | FILE | LINE | CHARACTER | BYTE_OFFSET | CATEGORY | CODE | SQL_STATE | COLUMN_NAME | ROW_NUMBER | ROW_START_LINE | REJECTED_RECORD | |----------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------+------+-----------+-------------+----------+--------+-----------+-------------------------------+------------+----------------+-----------------------------------------------------------------------------------------------------------------------------------------------------| | Number of columns in file (11) does not match that of the corresponding table (10), use file format option error_on_column_count_mismatch=false to ignore this error | mycsvtable/contacts3.csv.gz | 3 | 1 | 234 | parsing | 100080 | 22000 | "MYCSVTABLE"[11] | 1 | 2 | 11|Ishmael|Burnett|Dolor Elit Pellentesque Ltd|vitae.erat@necmollisvitae.ca|1-872|600-7301|1-513-592-6779|P.O. Box 975, 553 Odio, Road|Hulste|63345 | | Field delimiter '|' found while expecting record delimiter '\n' | mycsvtable/contacts3.csv.gz | 5 | 125 | 625 | parsing | 100016 | 22000 | "MYCSVTABLE"["POSTALCODE":10] | 4 | 5 | 14|Sophia|Christian|Turpis Ltd|lectus.pede@non.ca|1-962-503-3253|1-157-|850-3602|P.O. Box 824, 7971 Sagittis Rd.|Chattanooga|56188 | +----------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------+------+-----------+-------------+----------+--------+-----------+-------------------------------+------------+----------------+-----------------------------------------------------------------------------------------------------------------------------------------------------+
Snowflake hat in mycsvtable/contacts3.csv.gz zwei Datenfehler festgestellt:
Number of columns in file (11) does not match that of the corresponding table (10)In Zeile 1 wurde ein Bindestrich versehentlich durch das Pipe-Zeichen (
|), das Trennzeichen der Datendatei, ersetzt, wodurch eine zusätzliche Spalte im Datensatz erzeugt wurde.
Field delimiter '|' found while expecting record delimiter '\n'In Zeile 5 wurde nach einem Bindestrich ein zusätzliches Pipe-Zeichen (
|) eingefügt, wodurch der Datensatz unterbrochen wird.
Fehler beheben und neu laden¶
Beheben Sie die Fehler in problematischen Datensätze manuell in
contacts3.csvin Ihrer lokalen Umgebung. Bei regelmäßigem Gebrauch können Sie alternativ eine neue Datendatei aus der Datenquelle generieren, die nur die Datensätze enthält, die nicht geladen wurden.Stellen Sie die bearbeitete Datendatei im Stagingbereich zum Laden bereit. Die geänderte Datei überschreibt die bestehende Stagingdatei.
Linux oder macOS:
PUT file:///tmp/load/contacts3.csv @my_csv_stage AUTO_COMPRESS=TRUE OVERWRITE=TRUE;
Windows:
PUT file://C:\temp\load\contacts3.csv @my_csv_stage AUTO_COMPRESS=TRUE OVERWRITE=TRUE;
Laden Sie die Daten aus der Datei neu.
COPY INTO mycsvtable FROM @my_csv_stage/contacts3.csv.gz FILE_FORMAT = (FORMAT_NAME = mycsvformat) ON_ERROR = 'skip_file';
Snowflake liefert die folgenden Ergebnisse, die anzeigen, dass die Daten in contacts3.csv.gz erfolgreich geladen wurden.
+-----------------------------+--------+-------------+-------------+-------------+-------------+-------------+------------------+-----------------------+-------------------------+ | file | status | rows_parsed | rows_loaded | error_limit | errors_seen | first_error | first_error_line | first_error_character | first_error_column_name | |-----------------------------+--------+-------------+-------------+-------------+-------------+-------------+------------------+-----------------------+-------------------------| | mycsvtable/contacts3.csv.gz | LOADED | 5 | 5 | 1 | 0 | NULL | NULL | NULL | NULL | +-----------------------------+--------+-------------+-------------+-------------+-------------+-------------+------------------+-----------------------+-------------------------+
Nächstes Thema: Schritt 7. Überprüfen der geladenen Daten