Snowflake, Inc.
|
DOCUMENTATION
  • Communauté
  • Ressources
  • Blog
      • LANGUES
      • Français
      • English
      • Deutsch
      • 日本語
  • Prise en main
  • Introduction à Snowflake
  • Tutoriels, vidéos et autres ressources
  • Notes de version
  • Connexion à Snowflake
  • Chargement de données dans Snowflake
    • Vue d’ensemble du chargement des données
    • Résumé des fonctions de chargement des données
    • Remarques relatives au chargement des données
    • Préparation du chargement des données
    • Chargement en lot à l’aide de COPY
    • Chargement en continu à l’aide de Snowpipe
    • Chargement à l’aide de l’interface Web (limité)
    • Interrogation des données dans des fichiers mis en zone de préparation
    • Interrogation de métadonnées de fichiers préparés
    • Transformation des données pendant un chargement
    • Tutoriels de chargement de données
      • Utilisation des tutoriels
      • Tutoriel : Chargement en lot à partir d’un système de fichiers local à l’aide de COPY
      • Tutoriel : Chargement en lot à partir d’Amazon S3 à l’aide de COPY
        • Conditions préalables
        • Étape 1. Créer des objets de format de fichier
        • Étape 2. Créer un objet préparé nommé
        • Étape 3. Copie de données dans la table cible
        • Étape 4. Résolution des erreurs de chargement de données liées à des problèmes de données
          • Valider les erreurs
          • Réparation des erreurs et nouveau chargement
        • Étape 5. Vérifier les données chargées
        • Étape 6. Félicitations !
      • Script : Chargement des données JSON vers une table relationnelle
      • Script : Chargement et déchargement de données Parquet
  • Déchargement des données depuis Snowflake
  • Utilisation de Snowflake
  • Partage des données sécurisé dans Snowflake
  • Gestion de votre organisation Snowflake
  • Gestion de votre compte Snowflake
  • Gestion de la sécurité dans Snowflake
  • Développement d’applications dans Snowflake
  • Référence générale
  • Référence des commandes SQL
  • Référence de la fonction SQL
  • Annexes
Suivant Précédent |
  • Documents »
  • Chargement de données dans Snowflake »
  • Tutoriels de chargement de données »
  • Tutoriel : Chargement en lot à partir d’Amazon S3 à l’aide de COPY »
  • Étape 4. Résolution des erreurs de chargement de données liées à des problèmes de données

Étape 4. Résolution des erreurs de chargement de données liées à des problèmes de données¶

.

Liste des étapes

  • Conditions préalables

  • Étape 1. Créer des objets de format de fichier

  • Étape 2. Créer un objet préparé nommé

  • Étape 3. Copie de données dans la table cible

  • Étape 4. Résolution des erreurs de chargement de données liées à des problèmes de données

  • Étape 5. Vérifier les données chargées

  • Étape 6. Félicitations !

Utilisez la fonction VALIDATE pour valider les fichiers de données que vous avez chargés et retourner toutes les erreurs rencontrées pendant le chargement.

Valider les erreurs¶

Le processus suivant renvoie les erreurs par ID de requête et enregistre les résultats dans une table pour référence ultérieure.

Vous pouvez voir l’ID de requête de la tâche COPY sur la page History History tab de l’interface Web :

  1. Connectez-vous à l’interface Web de Snowflake.

  2. Passez au rôle que vous avez utilisé pour exécuter les instructions SQL du tutoriel.

  3. Cliquez sur History History tab.

  4. Cliquez sur le lien de la colonne Query ID pour la commande COPY INTO. Le panneau Details s’ouvre.

  5. Dans l’interface de ligne de commande (par exemple, SnowSQL), exécutez la commande suivante. Remplacez <id_requête> par la valeur Query ID .

    CREATE OR REPLACE TABLE save_copy_errors AS SELECT * FROM TABLE(VALIDATE(mycsvtable, JOB_ID=>'<query_id>'));
    
  6. Interrogez le tableau des résultats :

    SELECT * FROM SAVE_COPY_ERRORS;
    

    Snowflake renvoie les résultats suivants :

    +----------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------+------+-----------+-------------+----------+--------+-----------+-------------------------------+------------+----------------+-----------------------------------------------------------------------------------------------------------------------------------------------------+
    | ERROR                                                                                                                                                                | FILE                                | LINE | CHARACTER | BYTE_OFFSET | CATEGORY |   CODE | SQL_STATE | COLUMN_NAME                   | ROW_NUMBER | ROW_START_LINE | REJECTED_RECORD                                                                                                                                     |
    |----------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------+------+-----------+-------------+----------+--------+-----------+-------------------------------+------------+----------------+-----------------------------------------------------------------------------------------------------------------------------------------------------|
    | Number of columns in file (11) does not match that of the corresponding table (10), use file format option error_on_column_count_mismatch=false to ignore this error | tutorials/dataloading/contacts3.csv |    3 |         1 |         234 | parsing  | 100080 |     22000 | "MYCSVTABLE"[11]              |          1 |              2 | 11|Ishmael|Burnett|Dolor Elit Pellentesque Ltd|vitae.erat@necmollisvitae.ca|1-872|600-7301|1-513-592-6779|P.O. Box 975, 553 Odio, Road|Hulste|63345 |
    | Field delimiter '|' found while expecting record delimiter '\n'                                                                                                      | tutorials/dataloading/contacts3.csv |    5 |       125 |         625 | parsing  | 100016 |     22000 | "MYCSVTABLE"["POSTALCODE":10] |          4 |              5 | 14|Sophia|Christian|Turpis Ltd|lectus.pede@non.ca|1-962-503-3253|1-157-|850-3602|P.O. Box 824, 7971 Sagittis Rd.|Chattanooga|56188                  |
    +----------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------+------+-----------+-------------+----------+--------+-----------+-------------------------------+------------+----------------+-----------------------------------------------------------------------------------------------------------------------------------------------------+
    

Snowflake a rencontré deux erreurs de données dans tutorials/dataloading/contacts3.csv :

  • Number of columns in file (11) does not match that of the corresponding table (10)

    Dans la ligne 1, un trait d’union a été remplacé par erreur par le caractère de barre verticale (|), le délimiteur de fichier de données, créant ainsi une colonne supplémentaire dans l’enregistrement.

    Example 1 data error in record
  • Field delimiter '|' found while expecting record delimiter '\n'

    Dans la ligne 5, un caractère de barre verticale supplémentaire (|) a été introduit après un trait d’union, ce qui a conduit à un problème d’enregistrement.

    Example 1 data error in record

Réparation des erreurs et nouveau chargement¶

En principe, vous corrigez manuellement les enregistrements posant problème et les écrivez dans un nouveau fichier de données. Vous pouvez également régénérer un nouveau fichier de données à partir de la source de données contenant uniquement les enregistrements qui n’ont pas été chargés.

Vous pouvez ensuite préparer les fichiers de données réparés dans le compartiment S3 et tenter de recharger les données à partir de ces fichiers.

Suivant : Étape 5. Vérifier les données chargées

Suivant Précédent |
  • Demander à la communauté
  • Contacter l’assistance
  • Signaler un problème de document
Snowflake Inc.
  • Plateforme
    • Cloud Data Platform
    • Architecture
    • Tarifs
    • Data Marketplace
  • Solutions
    • Snowflake pour les soins de santé et les sciences de la vie
    • Snowflake pour l'analyse marketing
    • Snowflake pour la vente au détail
    • Snowflake pour l'éducation
    • Snowflake pour les développeurs
  • Ressources
    • Bibliothèque de ressources
    • Webinaires
    • Communauté
    • Juridique
  • Explorer
    • Actualités
    • Blog
    • Tendances
  • À propos
    • À propos de Snowflake
    • Direction et Comité exécutif
    • Carrières
    • Contact
  • Politique de confidentialité
  • Conditions du site

450 Concard Drive, San Mateo, CA, 94402, United States | 844-SNOWFLK (844-766-9355)

© 2021 Snowflake Inc. All Rights Reserved