Types de données des tables Apache Iceberg™¶

Types approximatifs¶

Si votre table utilise un type de données Iceberg pour lequel Snowflake ne prend pas en charge une correspondance exacte, Snowflake utilise un type Snowflake approximatif. Ce type de mappage affecte les valeurs des colonnes des tables converties et des tables Iceberg qui utilisent Snowflake comme catalogue.

Prenons l’exemple d’une table comportant une colonne de type Iceberg int. Snowflake traite les valeurs des colonnes en utilisant le type de données Snowflake NUMBER(10,0).

NUMBER(10,0) a une plage de (-9,999,999,999, +9,999,999,999), mais int a une plage plus limitée de (-2,147,483,648, +2,147,483,647). Si vous essayez d’insérer une valeur 3,000,000,000 dans cette colonne, Snowflake renvoie un message d’erreur hors plage.

Pour plus de détails sur les types approximatifs, voir les notes dans le tableau Types de données pris en charge.

Types de données pris en charge¶

Le tableau dans cette section montre la relation entre les types de données Iceberg et les types de données Snowflake. Les colonnes suivantes sont utilisées :

Type Iceberg:

Type de données défini dans la spécification Apache Iceberg. Lorsque vous utilisez Snowflake comme catalogue, Snowflake écrit le type Iceberg dans les fichiers de données des tables afin que celles-ci restent interopérables entre les différents moteurs de calcul.

Type Snowflake:

Type de données Snowflake utilisé pour traiter et renvoyer les données de table. Par exemple, si votre schéma spécifie le type Iceberg timestamp, Snowflake traite et renvoie des valeurs utilisant le type de données Snowflake TIMESTAMP_NTZ(6) à une précision de l’ordre de la microseconde.

Remarques:

Notes sur l’utilisation supplémentaires, notamment pour utiliser les types approximatifs.

INSERT INTO geog_points
  SELECT TO_GEOGRAPHY('POINT(-122.3861109 37.61637595)');

INSERT INTO geog_points
  SELECT 'POINT(-122.3861109 37.61637595)';

CREATE ICEBERG TABLE geo_points (geom GEOMETRY)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'us_states'
  ICEBERG_VERSION = 3;

CREATE ICEBERG TABLE geo_points (geom GEOMETRY(4269))
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'us_states'
  ICEBERG_VERSION = 3;

INSERT INTO geo_points
  SELECT TO_GEOMETRY('POINT(-122.3861109 37.61637595)');

INSERT INTO geo_points
  SELECT 'POINT(-122.3861109 37.61637595)';

INSERT INTO geo_points
  SELECT TO_GEOMETRY('POINT(-122.3861109 37.61637595)', 4326);

CREATE ICEBERG TABLE sensor_readings (
    reading_ntz TIMESTAMP_NTZ(9),
    reading_ltz TIMESTAMP_LTZ(9))
  ICEBERG_VERSION = 3;

CREATE ICEBERG TABLE car_sales (record VARIANT)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'car_sales'
  ICEBERG_VERSION = 3;

USE DATABASE my_catalog_linked_db;

USE SCHEMA my_namespace;

CREATE ICEBERG TABLE car_sales (record VARIANT)
ICEBERG_VERSION = 3;

INSERT INTO car_sales SELECT
  PARSE_JSON(
    '{
        "date" : "2017-04-28",
        "dealership" : "Valley View Auto Sales",
        "salesperson" : {
          "id": "55",
          "name": "John Salesperson"
        },
        "customer" : [
          {"name": "Alice Doe", "phone": "14151234567", "address": "San Francisco, CA"},
          {"name": "Bob Doe", "phone": "14151234567", "address": "San Francisco, CA"}
        ],
        "vehicle" : [
          {"make": "Honda", "model": "Civic", "year": "2017", "price": "20275", "extras":["ext warranty", "paint protection"]}
        ]
      }'
    );

+--------------------------------------------+
| RECORD                                     |
|--------------------------------------------|
| {                                          |
|    "customer": [                           |
|      {                                     |
|        "address": "San Francisco, CA",     |
|        "name": "Alice Doe",                |
|        "phone": "14151234567"              |
|      },                                    |
|      {                                     |
|        "address": "San Francisco, CA",     |
|        "name": "Bob Doe",                  |
|        "phone": "14151234567"              |
|      }                                     |
|    ],                                      |
|    "date": "2017-04-28",                   |
|    "dealership": "Valley View Auto Sales", |
|    "salesperson": {                        |
|      "id": "55",                           |
|      "name": "John Salesperson"            |
|    },                                      |
|    "vehicle": [                            |
|      {                                     |
|        "extras": [                         |
|          "ext warranty",                   |
|          "paint protection"                |
|        ],                                  |
|        "make": "Honda",                    |
|        "model": "Civic",                   |
|        "price": "20275",                   |
|        "year": "2017"                      |
|      }                                     |
|    ]                                       |
|  }                                         |
+--------------------------------------------+

SELECT record:salesperson.name
  FROM car_sales
  ORDER BY 1;

+-------------------------+
| RECORD:SALESPERSON.NAME |
|-------------------------|
| "John Salesperson"      |
+-------------------------+

Types de données Delta¶

Le tableau suivant montre comment les types de données Delta mappent les types de données Snowflake pour les tables Iceberg créées à partir de fichiers de table Delta.

Le tableau suivant montre comment les types de données imbriqués Delta mappent les types de données Snowflake.

Considérations¶

Tenez compte des éléments suivants lorsque vous utilisez des types de données pour les tables Iceberg :

• La conversion d’une table dont les colonnes utilisent les types de données Iceberg suivants n’est pas prise en charge :

  • uuid

  • fixed(L)

• Pour les tables qui utilisent Snowflake comme catalogue, la création d’une table qui utilise le type de données Iceberg uuid n’est pas prise en charge.

• Pour les tables qui utilisent un catalogue externe, vous ne pouvez pas créer de tables Iceberg v3 avec des colonnes de type structuré, qui incluent OBJECT, ARRAY ou MAP. Par exemple, vous ne pouvez pas utiliser CREATE ICEBERG TABLE … AS SELECT (CTAS) pour créer une table Iceberg v3 gérée en externe avec des colonnes de type structuré.

  Vous pouvez créer des tables Iceberg v3 gérées par Snowflake avec des colonnes de type structuré.

• Pour tous les types de table Iceberg :

  • Les colonnes de type structuré prennent en charge un maximum de 1 000 sous-colonnes.

  • Iceberg prend en charge la précision à la microseconde pour les types time (temps) et timestamp (horodatage). Par conséquent, vous ne pouvez pas créer une table Iceberg dans Snowflake qui utilise une autre précision comme une précision à la milliseconde ou à la nanoseconde.

  • Vous ne pouvez pas utiliser float ni double comme clés primaires (conformément à la spécification Apache Iceberg).

  • Pour les fichiers Parquet qui utilisent le type logique LIST, tenez compte des points suivants :

    • La structure d’annotation à trois niveaux avec le mot-clé element est prise en charge. Pour plus d’informations, consultez Définitions de types logiques Parquet. Si votre fichier Parquet utilise un format obsolète avec le mot-clé array, vous devez régénérer vos données en vous basant sur le format pris en charge.

• Pour les tables créées à partir de fichiers Delta, tenez compte des points suivants :

  • Les fichiers Parquet (fichiers de données pour les tables Delta) qui utilisent l’une des fonctionnalités ou l’un des types de données suivants ne sont pas pris en charge :

    • IDs de champ.

    • Le type de données est INTERVAL.

    • Le type de données DECIMAL avec une précision supérieure à 38.

    • Types LIST ou MAP avec représentation à un ou deux niveaux.

    • Types d’entiers non signés (INT(signé = faux)).

    • Le type de données est FLOAT16.

  • Vous pouvez utiliser le type physique Parquet int96 pour TIMESTAMP, mais Snowflake ne prend pas en charge int96 pour TIMESTAMP_NTZ.