Tipos de dados para tabelas Apache Iceberg™¶

Tipos aproximados¶

Se a sua tabela usar um tipo de dados Iceberg para o qual o Snowflake não oferece suporte a uma correspondência exata, o Snowflake usará um tipo Snowflake aproximado. Esse mapeamento de tipo afeta os valores das colunas para tabelas convertidas e tabelas Iceberg que usam Snowflake como catálogo.

Por exemplo, considere uma tabela com uma coluna do tipo Iceberg int. Snowflake processa os valores da coluna usando o tipo de dados Snowflake NUMBER(10,0).

NUMBER(10,0) tem um intervalo de (-9.999.999.999, +9.999.999.999), mas int tem um intervalo mais limitado de (-2.147.483.648, +2.147.483.647). Se você tentar inserir um valor de 3.000.000.000 nessa coluna, o Snowflake retornará uma mensagem de erro fora do intervalo.

Para obter detalhes sobre tipos aproximados, consulte as notas na tabela Tipos de dados suportados.

Tipos de dados suportados¶

As tabelas nesta seção mostram a relação entre os tipos de dados Iceberg e os tipos de dados Snowflake. Elas usam as seguintes colunas:

Tipo Iceberg:

O tipo de dados definido na especificação Apache Iceberg. Quando você usa o Snowflake como catálogo, o Snowflake grava o tipo Iceberg nos arquivos de dados da tabela para que as tabelas permaneçam interoperáveis entre diferentes mecanismos de computação.

Tipo de dados Snowflake:

O tipo de dados Snowflake usado para processar e retornar dados da tabela. Por exemplo, se seu esquema especificar o tipo Iceberg timestamp, o Snowflake processará e retornará valores usando o tipo de dados Snowflake TIMESTAMP_NTZ(6) com precisão de microssegundos.

Notas:

Notas de uso adicionais, incluindo notas para trabalhar com tipos aproximados.

INSERT INTO geog_points
  SELECT TO_GEOGRAPHY('POINT(-122.3861109 37.61637595)');

INSERT INTO geog_points
  SELECT 'POINT(-122.3861109 37.61637595)';

CREATE ICEBERG TABLE geo_points (geom GEOMETRY)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'us_states'
  ICEBERG_VERSION = 3;

CREATE ICEBERG TABLE geo_points (geom GEOMETRY(4269))
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'us_states'
  ICEBERG_VERSION = 3;

INSERT INTO geo_points
  SELECT TO_GEOMETRY('POINT(-122.3861109 37.61637595)');

INSERT INTO geo_points
  SELECT 'POINT(-122.3861109 37.61637595)';

INSERT INTO geo_points
  SELECT TO_GEOMETRY('POINT(-122.3861109 37.61637595)', 4326);

CREATE ICEBERG TABLE sensor_readings (
    reading_ntz TIMESTAMP_NTZ(9),
    reading_ltz TIMESTAMP_LTZ(9))
  ICEBERG_VERSION = 3;

CREATE ICEBERG TABLE car_sales (record VARIANT)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'car_sales'
  ICEBERG_VERSION = 3;

USE DATABASE my_catalog_linked_db;

USE SCHEMA my_namespace;

CREATE ICEBERG TABLE car_sales (record VARIANT)
ICEBERG_VERSION = 3;

INSERT INTO car_sales SELECT
  PARSE_JSON(
    '{
        "date" : "2017-04-28",
        "dealership" : "Valley View Auto Sales",
        "salesperson" : {
          "id": "55",
          "name": "John Salesperson"
        },
        "customer" : [
          {"name": "Alice Doe", "phone": "14151234567", "address": "San Francisco, CA"},
          {"name": "Bob Doe", "phone": "14151234567", "address": "San Francisco, CA"}
        ],
        "vehicle" : [
          {"make": "Honda", "model": "Civic", "year": "2017", "price": "20275", "extras":["ext warranty", "paint protection"]}
        ]
      }'
    );

+--------------------------------------------+
| RECORD                                     |
|--------------------------------------------|
| {                                          |
|    "customer": [                           |
|      {                                     |
|        "address": "San Francisco, CA",     |
|        "name": "Alice Doe",                |
|        "phone": "14151234567"              |
|      },                                    |
|      {                                     |
|        "address": "San Francisco, CA",     |
|        "name": "Bob Doe",                  |
|        "phone": "14151234567"              |
|      }                                     |
|    ],                                      |
|    "date": "2017-04-28",                   |
|    "dealership": "Valley View Auto Sales", |
|    "salesperson": {                        |
|      "id": "55",                           |
|      "name": "John Salesperson"            |
|    },                                      |
|    "vehicle": [                            |
|      {                                     |
|        "extras": [                         |
|          "ext warranty",                   |
|          "paint protection"                |
|        ],                                  |
|        "make": "Honda",                    |
|        "model": "Civic",                   |
|        "price": "20275",                   |
|        "year": "2017"                      |
|      }                                     |
|    ]                                       |
|  }                                         |
+--------------------------------------------+

SELECT record:salesperson.name
  FROM car_sales
  ORDER BY 1;

+-------------------------+
| RECORD:SALESPERSON.NAME |
|-------------------------|
| "John Salesperson"      |
+-------------------------+

Tipos de dados Delta¶

A tabela a seguir mostra como os tipos de dados Delta são mapeados para os tipos de dados Snowflake para tabelas Iceberg criadas a partir de arquivos de tabela Delta.

A tabela a seguir mostra como os tipos de dados Delta aninhados são mapeados para os tipos de dados do Snowflake.

Considerações¶

Considere os itens a seguir ao trabalhar com tipos de dados para tabelas Iceberg:

• Não há suporte para a conversão de uma tabela com colunas que usam os seguintes tipos de dados Iceberg:

  • uuid

  • fixed(L)

• Para tabelas que usam Snowflake como catálogo, não há suporte para a criação de uma tabela que use o tipo de dados Iceberg uuid.

• Para tabelas que usam um catálogo externo, não é possível criar tabelas Iceberg v3 com colunas de tipo estruturado, o que inclui OBJECT, ARRAY ou MAP. Por exemplo, não é possível usar CREATE ICEBERG TABLE … AS SELECT (CTAS) para criar uma tabela Iceberg v3 gerenciada externamente com colunas de tipo estruturado.

  É possível criar tabelas Iceberg v3 gerenciadas pelo Snowflake com colunas de tipo estruturado.

• Para todos os tipos de tabela Iceberg:

  • Colunas de tipo estruturado suportam no máximo 1.000 subcolunas.

  • Iceberg oferece suporte à precisão de microssegundos para tipos de hora e carimbo de data/hora. Como resultado, você não pode criar uma tabela Iceberg no Snowflake que use outra precisão, como milissegundo ou nanossegundo.

  • Você não pode usar float ou double como chaves primárias (de acordo com o especificação do Apache Iceberg).

  • Para arquivos Parquet que usam o tipo lógico LIST, esteja ciente do seguinte:

    • A estrutura de anotação de três níveis com a palavra-chave element é compatível. Para obter mais informações, consulte Definições do tipo lógico Parquet. Se o arquivo Parquet usar um formato obsoleto com a palavra-chave array, você deverá gerar novamente os dados com base no formato compatível.

• Para tabelas criadas a partir de arquivos Delta, esteja ciente do seguinte:

  • Arquivos Parquet (arquivos de dados para tabelas Delta) que usam qualquer um dos seguintes recursos ou tipos de dados não são compatíveis:

    • Campo IDs.

    • O tipo de dados INTERVAL.

    • O tipo de dados DECIMAL com precisão maior que 38.

    • Os tipos LIST ou MAP com representação de um ou dois níveis.

    • Tipos inteiros sem sinal (INT(signed = false)).

    • O tipo de dados FLOAT16.

  • Você pode usar o tipo físico Parquet int96 para TIMESTAMP, mas o Snowflake não oferece suporte a int96 para TIMESTAMP_NTZ.