Étape 4. Résolution des erreurs de chargement de données liées à des problèmes de données¶
Utilisez la fonction VALIDATE pour valider les fichiers de données que vous avez chargés et retourner toutes les erreurs rencontrées pendant le chargement.
Valider les erreurs¶
Le processus suivant renvoie les erreurs par ID de requête et enregistre les résultats dans une table pour référence ultérieure.
Vous pouvez voir l’ID de requête de la tâche COPY sur la page History 
de l’interface Web :
Connectez-vous à l’interface Web de Snowflake.
Passez au rôle que vous avez utilisé pour exécuter les instructions SQL du tutoriel.
Cliquez sur History
.Cliquez sur le lien de la colonne Query ID pour la commande COPY INTO. Le panneau Details s’ouvre.
Dans l’interface de ligne de commande (par exemple, SnowSQL), exécutez la commande suivante. Remplacez
<id_requête>par la valeur Query ID .CREATE OR REPLACE TABLE save_copy_errors AS SELECT * FROM TABLE(VALIDATE(mycsvtable, JOB_ID=>'<query_id>'));
Interrogez le tableau des résultats :
SELECT * FROM SAVE_COPY_ERRORS;
Snowflake renvoie les résultats suivants :
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------+------+-----------+-------------+----------+--------+-----------+-------------------------------+------------+----------------+-----------------------------------------------------------------------------------------------------------------------------------------------------+ | ERROR | FILE | LINE | CHARACTER | BYTE_OFFSET | CATEGORY | CODE | SQL_STATE | COLUMN_NAME | ROW_NUMBER | ROW_START_LINE | REJECTED_RECORD | |----------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------+------+-----------+-------------+----------+--------+-----------+-------------------------------+------------+----------------+-----------------------------------------------------------------------------------------------------------------------------------------------------| | Number of columns in file (11) does not match that of the corresponding table (10), use file format option error_on_column_count_mismatch=false to ignore this error | tutorials/dataloading/contacts3.csv | 3 | 1 | 234 | parsing | 100080 | 22000 | "MYCSVTABLE"[11] | 1 | 2 | 11|Ishmael|Burnett|Dolor Elit Pellentesque Ltd|vitae.erat@necmollisvitae.ca|1-872|600-7301|1-513-592-6779|P.O. Box 975, 553 Odio, Road|Hulste|63345 | | Field delimiter '|' found while expecting record delimiter '\n' | tutorials/dataloading/contacts3.csv | 5 | 125 | 625 | parsing | 100016 | 22000 | "MYCSVTABLE"["POSTALCODE":10] | 4 | 5 | 14|Sophia|Christian|Turpis Ltd|lectus.pede@non.ca|1-962-503-3253|1-157-|850-3602|P.O. Box 824, 7971 Sagittis Rd.|Chattanooga|56188 | +----------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------+------+-----------+-------------+----------+--------+-----------+-------------------------------+------------+----------------+-----------------------------------------------------------------------------------------------------------------------------------------------------+
Snowflake a rencontré deux erreurs de données dans tutorials/dataloading/contacts3.csv :
Number of columns in file (11) does not match that of the corresponding table (10)Dans la ligne 1, un trait d’union a été remplacé par erreur par le caractère de barre verticale (
|), le délimiteur de fichier de données, créant ainsi une colonne supplémentaire dans l’enregistrement.
Field delimiter '|' found while expecting record delimiter '\n'Dans la ligne 5, un caractère de barre verticale supplémentaire (
|) a été introduit après un trait d’union, ce qui a conduit à un problème d’enregistrement.
Réparation des erreurs et nouveau chargement¶
En principe, vous corrigez manuellement les enregistrements posant problème et les écrivez dans un nouveau fichier de données. Vous pouvez également régénérer un nouveau fichier de données à partir de la source de données contenant uniquement les enregistrements qui n’ont pas été chargés.
Vous pouvez ensuite préparer les fichiers de données réparés dans le compartiment S3 et tenter de recharger les données à partir de ces fichiers.
Suivant : Étape 5. Vérifier les données chargées