Vue d’ensemble du chargement de données¶

Ressources de calcul¶

Le chargement en lot repose sur des entrepôts virtuels fournis par l’utilisateur, spécifiés dans l’instruction COPY. Les utilisateurs sont tenus de dimensionner l’entrepôt de manière appropriée pour s’adapter aux charges attendues.

Transformations simples pendant un chargement¶

Snowflake prend en charge la transformation des données tout en les chargeant dans une table à l’aide de la commande COPY. Les options comprennent :

• Réorganisation des colonnes

• Omission de colonnes

• Conversions

• Tronquer des chaînes de texte qui dépassent la longueur de colonne cible

Il n’est pas nécessaire que vos fichiers de données aient le même nombre et le même ordre de colonnes que votre table cible.

Ressources de calcul¶

Snowpipe utilise les ressources de calcul fournies par Snowflake (un modèle de calcul sans serveur). Ces ressources fournies par Snowflake sont automatiquement redimensionnées et mises à l’échelle, si nécessaire, et facturées et détaillées à l’aide d’une facturation à la seconde. L’ingestion de données est facturée en fonction des charges de travail réelles.

Transformations simples pendant un chargement¶

L’instruction COPY d’une définition de canal prend en charge les mêmes options de transformation COPY que lors du chargement en lot de données.

En outre, les pipelines de données peuvent tirer parti de Snowpipe pour charger en continu des micro-lots de données dans des tables en zone de préparation pour la transformation et l’optimisation à l’aide de tâches automatisées et des informations de capture de données modifiées (CDC) contenues dans des flux.

Erreurs de journalisation lors de l’insertion directe de lignes¶

L’exemple suivant enregistre les erreurs lors de l’insertion de lignes directement dans une table :

1. Créer une table et activez la journalisation des erreurs DML pour celle-ci :

   CopyExpand

   CREATE TABLE test_dml_error_logging(
     n NUMBER(4, 0) NOT NULL,
     t VARCHAR(5)
     )
     ERROR_LOGGING = true;
   

   Show lessSee more

   Scroll to top

2. Exécutez une instruction INSERT qui tente d’insérer plusieurs lignes, y compris des valeurs valides et non valides :

   CopyExpand

   INSERT INTO test_dml_error_logging
     VALUES
       ('invalid_cast', '1'),
       (10, 'valid'),
       (NULL, 'toolong');
   

   Show lessSee more

   Scroll to top
   Expand

   +-------------------------+
   | number of rows inserted |
   |-------------------------|
   |                       1 |
   +-------------------------+
   

   Show lessSee more

   Scroll to top

3. Interrogez la table pour confirmer qu’une ligne valide a été insérée :

   CopyExpand

   SELECT * FROM test_dml_error_logging;
   

   Show lessSee more

   Scroll to top
   Expand

   +----+-------+
   |  N | T     |
   |----+-------|
   | 10 | valid |
   +----+-------+
   

   Show lessSee more

   Scroll to top

4. Interrogez la table d’erreurs pour la table de base test_dml_error_logging pour voir les erreurs qui ont été consignées :

   CopyExpand

   SELECT * FROM ERROR_TABLE(test_dml_error_logging);
   

   Show lessSee more

   Scroll to top
   Expand

   +-------------------------------+--------------------------------------+------------+----------------------------------------------------------------------+--------------------+
   | TIMESTAMP                     | QUERY_ID                             | ERROR_CODE | ERROR_METADATA                                                       | ERROR_DATA         |
   |-------------------------------+--------------------------------------+------------+----------------------------------------------------------------------+--------------------|
   | 2026-03-12 12:18:39.470 -0700 | 01c2fc06-000e-6668-0000-76b90170a28e |     100038 | {                                                                    | {                  |
   |                               |                                      |            |   "error_code": 100038,                                              |   "N": [           |
   |                               |                                      |            |   "error_message": "Numeric value 'invalid_cast' is not recognized", |     "invalid_cast" |
   |                               |                                      |            |   "error_source": "N",                                               |   ],               |
   |                               |                                      |            |   "sql_state": "22018"                                               |   "T": "1"         |
   |                               |                                      |            | }                                                                    | }                  |
   | 2026-03-12 12:18:39.470 -0700 | 01c2fc06-000e-6668-0000-76b90170a28e |     100072 | {                                                                    | {                  |
   |                               |                                      |            |   "error_code": 100072,                                              |   "N": [           |
   |                               |                                      |            |   "error_message": "NULL result in a non-nullable column",           |     null           |
   |                               |                                      |            |   "error_source": "N",                                               |   ],               |
   |                               |                                      |            |   "sql_state": "22000"                                               |   "T": [           |
   |                               |                                      |            | }                                                                    |     "toolong"      |
   |                               |                                      |            |                                                                      |   ]                |
   |                               |                                      |            |                                                                      | }                  |
   +-------------------------------+--------------------------------------+------------+----------------------------------------------------------------------+--------------------+
   

   Show lessSee more

   Scroll to top

5. Désactivez la journalisation des erreurs DML pour la table test_dml_error_logging :

   CopyExpand

   ALTER TABLE test_dml_error_logging
     SET ERROR_LOGGING = false;
   

   Show lessSee more

   Scroll to top

6. Tentez la même instruction INSERT que vous avez exécutée précédemment. Une erreur est renvoyée et aucune erreur n’est consignée dans une table d’erreurs :

   CopyExpand

   INSERT INTO test_dml_error_logging
     VALUES
       ('invalid_cast', '1'),
       (10, 'valid'),
       (NULL, 'toolong');
   

   Show lessSee more

   Scroll to top
   Expand

   100038 (22018): DML operation to table TEST_DML_ERROR_LOGGING failed on column N with error: Numeric value 'invalid_cast' is not recognized
   

   Show lessSee more

   Scroll to top

Erreurs de journalisation lors de l’insertion de lignes depuis une table vers une autre table¶

L’exemple suivant enregistre les erreurs lors de l’insertion de lignes depuis une table vers une autre table :

1. Créez une table source et insérez des valeurs :

   CopyExpand

   CREATE TABLE dml_error_logging_source(col1 INT);
   
   INSERT INTO dml_error_logging_source VALUES (1), (0), (-1);
   

   Show lessSee more

   Scroll to top

2. Créez une table cible avec la même définition que la table source :

   CopyExpand

   CREATE TABLE dml_error_logging_target(col1 INT);
   

   Show lessSee more

   Scroll to top

3. Activez la journalisation des erreurs DML sur la table dml_error_logging_target :

   CopyExpand

   ALTER TABLE dml_error_logging_target
     SET ERROR_LOGGING = true;
   

   Show lessSee more

   Scroll to top

4. Insérez des valeurs dans la table cible en interrogeant la table source de sorte que l’une des insertions entraîne une division par une erreur zéro :

   CopyExpand

   INSERT INTO dml_error_logging_target(col1)
     SELECT 1/col1 FROM dml_error_logging_source;
   

   Show lessSee more

   Scroll to top
   Expand

   +-------------------------+
   | number of rows inserted |
   |-------------------------|
   |                       2 |
   +-------------------------+
   

   Show lessSee more

   Scroll to top

5. Interrogez la table pour confirmer que deux lignes valides ont été insérées :

   CopyExpand

   SELECT * FROM dml_error_logging_target;
   

   Show lessSee more

   Scroll to top
   Expand

   +------+
   | COL1 |
   |------|
   |    1 |
   |   -1 |
   +------+
   

   Show lessSee more

   Scroll to top

6. Interrogez la table d’erreurs pour la table de base dml_error_logging_target pour voir les erreurs qui ont été consignées :

   CopyExpand

   SELECT * FROM ERROR_TABLE(dml_error_logging_target);
   

   Show lessSee more

   Scroll to top
   Expand

   +-------------------------------+--------------------------------------+------------+----------------------------------------+-------------+
   | TIMESTAMP                     | QUERY_ID                             | ERROR_CODE | ERROR_METADATA                         | ERROR_DATA  |
   |-------------------------------+--------------------------------------+------------+----------------------------------------+-------------|
   | 2026-03-12 12:25:56.297 -0700 | 01c2fc0d-000e-6696-0000-76b90170b64a |     100051 | {                                      | {           |
   |                               |                                      |            |   "error_code": 100051,                |   "COL1": [ |
   |                               |                                      |            |   "error_message": "Division by zero", |     1,      |
   |                               |                                      |            |   "error_source": "COL1",              |     0       |
   |                               |                                      |            |   "sql_state": "22012"                 |   ]         |
   |                               |                                      |            | }                                      | }           |
   +-------------------------------+--------------------------------------+------------+----------------------------------------+-------------+
   

   Show lessSee more

   Scroll to top

Définition des tables d’erreurs¶

Snowflake crée des tables d’erreurs avec une définition standard qui ne peut pas être modifiée.

Lorsque vous désactivez la journalisation des erreurs DML d’une table de base ou que vous supprimez une table de base qui contient une table d’erreurs, la table d’erreurs associée à la table de base est supprimée automatiquement.

Une table d’erreurs comporte les colonnes suivantes :

{
  "error_code": <value>,
  "error_message": "<value>",
  "error_source": "<value>",
  "sql_state": "<value>"
}

{
  "<column_name>": [
    <invalid_column_values>
  ]
  "<column_name>": <valid_column_values>
  ...
}

Interagir avec des tables d’erreurs¶

Vous pouvez exécuter des instructions SELECT et TRUNCATE sur les tables d’erreurs en utilisant la syntaxe suivante :

SELECT ... FROM ERROR_TABLE( <base_table_name> )

TRUNCATE [ TABLE ] [ IF EXISTS ] ERROR_TABLE( <base_table_name> )

Où :

base_table_name

Le nom de la table pour laquelle la table d’erreurs a été créée.

Par exemple, si le nom de la table de base est my_table, l’instruction suivante interroge la table d’erreurs pour cette table de base :

SELECT * FROM ERROR_TABLE(my_table);

L’instruction suivante tronque la table d’erreurs :

TRUNCATE ERROR_TABLE(my_table);

Exigences en matière de contrôle d’accès pour les tables d’erreur¶

Tout rôle pouvant effectuer des insertions dans une table de base peut déclencher des insertions dans sa table d’erreurs. Quel que soit le rôle actuel, les insertions directes dans une table d’erreurs ne sont pas autorisées.

Les utilisateurs suivants peuvent exécuter des instructions SELECT sur une table d’erreurs :

• Le propriétaire de la table de base de la table d’erreurs.

• Les utilisateurs qui se sont vus accorder le privilège SELECT ERROR TABLE sur la table de base, soit via un rôle, soit directement.

  Pour accorder le privilège SELECT ERROR TABLE sur une table de base, exécutez une instruction GRANT <privilèges> … TO ROLE ou une instruction GRANT <privilèges> … TO USER.

  Ces instructions utilisent la syntaxe suivante :

  CopyExpand

  GRANT SELECT ERROR TABLE ON TABLE <base_table_name> TO ROLE <role_name>
  
  GRANT SELECT ERROR TABLE ON TABLE <base_table_name> TO USER <user_name>
  

  Show lessSee more

  Scroll to top

  Par exemple, pour accorder le privilège SELECT ERROR TABLE sur une table de base nommée mybasetable à un rôle nommé myrole, exécutez l’instruction suivante :

  CopyExpand

  GRANT SELECT ERROR TABLE ON TABLE mybasetable TO ROLE myrole;
  

  Show lessSee more

  Scroll to top

Alternativement, pour accorder à d’autres rôles l’accès à une table d’erreurs, le propriétaire de la table de base peut également créer une vue basée sur la table d’erreurs et accorder l’accès à cette vue.