Apache Iceberg™ 테이블의 데이터 타입¶

근사 유형¶

테이블에서 Snowflake가 정확한 일치 를 지원하지 않는 Iceberg 데이터 타입을 사용하는 경우 Snowflake는 근사 Snowflake 유형을 사용합니다. 이 유형 매핑은 Snowflake를 카탈로그로 사용하는 변환된 테이블과 Iceberg 테이블의 열 값에 영향을 줍니다.

예를 들어 Iceberg 유형 int 의 열이 있는 테이블을 생각해 보겠습니다. Snowflake는 Snowflake 데이터 타입 NUMBER(10,0)을 사용하여 열 값을 처리합니다.

NUMBER(10,0)의 범위는 (-9,999,999,999, +9,999,999,999)이지만 int 의 범위는 (-2,147,483,648, +2,147,483,647)로 더욱 제한됩니다. 그 열에 3,000,000,000이라는 값을 삽입하려고 하면 Snowflake에서 범위 이탈을 알리는 오류 메시지를 반환합니다.

근사 유형에 대한 자세한 내용은 지원되는 데이터 타입 표의 참고 사항을 참조하십시오.

지원되는 데이터 타입¶

이 섹션의 테이블은 Iceberg 데이터 타입과 Snowflake 데이터 타입 간의 관계를 보여줍니다. 이러한 데이터 타입이 사용하는 열은 다음과 같습니다.

Iceberg 유형:

Apache Iceberg 사양에 정의된 데이터 타입입니다. Snowflake를 카탈로그로 사용할 경우 Snowflake는 테이블 데이터 파일에 Iceberg 유형을 기록하므로 테이블이 다양한 컴퓨팅 엔진에 걸쳐 상호 운용 가능한 상태로 유지됩니다.

Snowflake 유형:

테이블 데이터를 처리하고 반환하는 데 사용되는 Snowflake 데이터 타입입니다. 예를 들어 스키마가 Iceberg 유형 timestamp 를 지정하는 경우 Snowflake는 Snowflake 데이터 타입 TIMESTAMP_NTZ(6)을 사용하여 마이크로초 정밀도로 값을 처리하고 반환합니다.

참고:

근사 유형 작업에 대한 참고 사항을 포함한 추가적인 사용법 노트.

INSERT INTO geog_points
  SELECT TO_GEOGRAPHY('POINT(-122.3861109 37.61637595)');

INSERT INTO geog_points
  SELECT 'POINT(-122.3861109 37.61637595)';

CREATE ICEBERG TABLE geo_points (geom GEOMETRY)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'us_states'
  ICEBERG_VERSION = 3;

CREATE ICEBERG TABLE geo_points (geom GEOMETRY(4269))
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'us_states'
  ICEBERG_VERSION = 3;

INSERT INTO geo_points
  SELECT TO_GEOMETRY('POINT(-122.3861109 37.61637595)');

INSERT INTO geo_points
  SELECT 'POINT(-122.3861109 37.61637595)';

INSERT INTO geo_points
  SELECT TO_GEOMETRY('POINT(-122.3861109 37.61637595)', 4326);

CREATE ICEBERG TABLE sensor_readings (
    reading_ntz TIMESTAMP_NTZ(9),
    reading_ltz TIMESTAMP_LTZ(9))
  ICEBERG_VERSION = 3;

CREATE ICEBERG TABLE car_sales (record VARIANT)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'car_sales'
  ICEBERG_VERSION = 3;

USE DATABASE my_catalog_linked_db;

USE SCHEMA my_namespace;

CREATE ICEBERG TABLE car_sales (record VARIANT)
ICEBERG_VERSION = 3;

INSERT INTO car_sales SELECT
  PARSE_JSON(
    '{
        "date" : "2017-04-28",
        "dealership" : "Valley View Auto Sales",
        "salesperson" : {
          "id": "55",
          "name": "John Salesperson"
        },
        "customer" : [
          {"name": "Alice Doe", "phone": "14151234567", "address": "San Francisco, CA"},
          {"name": "Bob Doe", "phone": "14151234567", "address": "San Francisco, CA"}
        ],
        "vehicle" : [
          {"make": "Honda", "model": "Civic", "year": "2017", "price": "20275", "extras":["ext warranty", "paint protection"]}
        ]
      }'
    );

+--------------------------------------------+
| RECORD                                     |
|--------------------------------------------|
| {                                          |
|    "customer": [                           |
|      {                                     |
|        "address": "San Francisco, CA",     |
|        "name": "Alice Doe",                |
|        "phone": "14151234567"              |
|      },                                    |
|      {                                     |
|        "address": "San Francisco, CA",     |
|        "name": "Bob Doe",                  |
|        "phone": "14151234567"              |
|      }                                     |
|    ],                                      |
|    "date": "2017-04-28",                   |
|    "dealership": "Valley View Auto Sales", |
|    "salesperson": {                        |
|      "id": "55",                           |
|      "name": "John Salesperson"            |
|    },                                      |
|    "vehicle": [                            |
|      {                                     |
|        "extras": [                         |
|          "ext warranty",                   |
|          "paint protection"                |
|        ],                                  |
|        "make": "Honda",                    |
|        "model": "Civic",                   |
|        "price": "20275",                   |
|        "year": "2017"                      |
|      }                                     |
|    ]                                       |
|  }                                         |
+--------------------------------------------+

SELECT record:salesperson.name
  FROM car_sales
  ORDER BY 1;

+-------------------------+
| RECORD:SALESPERSON.NAME |
|-------------------------|
| "John Salesperson"      |
+-------------------------+

델타 데이터 타입¶

다음 테이블은 Delta 테이블 파일에서 생성된 Iceberg 테이블 에 대해 Delta 데이터 타입이 Snowflake 데이터 타입에 매핑되는 방법을 보여줍니다.

다음 테이블은 Delta 중첩 데이터 타입이 Snowflake 데이터 타입에 매핑되는 방식을 보여줍니다.

고려 사항¶

Iceberg 테이블의 데이터 타입으로 작업할 때 다음 항목을 고려하십시오.

• 다음 Iceberg 데이터 타입을 사용하는 열이 있는 테이블 변환 은 지원되지 않습니다.

  • uuid

  • fixed(L)

• Snowflake를 카탈로그로 사용하는 테이블의 경우 Iceberg uuid 데이터 타입을 사용하는 테이블 생성은 지원되지 않습니다.

• 외부 카탈로그를 사용하는 테이블의 경우 OBJECT, ARRAY, MAP을 포함하는 정형화 타입 열이 있는 Iceberg v3 테이블을 생성할 수 없습니다. 예를 들어, CREATE ICEBERG TABLE … AS SELECT(CTAS)를 사용하여 정형화 타입 열이 있는 외부 관리 Iceberg v3 테이블을 생성할 수 없습니다.

  정형화 타입 열이 있는 Snowflake 관리 Iceberg v3 테이블은 생성할 수 있습니다.

• 모든 Iceberg 테이블 유형의 경우:

  • 정형 유형 열은 최대 1,000개의 하위 열을 지원합니다.

  • Iceberg는 시간 및 타임스탬프 유형에 대해 마이크로초 정밀도를 지원합니다. 결과적으로, Snowflake에서는 밀리초 또는 나노초와 같은 다른 정밀도를 사용하는 Iceberg 테이블을 만들 수 없습니다.

  • 기본 키로 float 또는 double 를 사용할 수 없습니다(Apache Iceberg 사양 에 따라).

  • LIST 논리 유형을 사용하는 Parquet 파일의 경우 다음 사항에 유의하십시오.

    • element 키워드가 포함된 3단계 주석 구조가 지원됩니다. 자세한 내용은 Parquet 논리 유형 정의 를 참조하십시오. Parquet 파일이 array 키워드와 함께 더 이상 사용되지 않는 형식을 사용하는 경우 지원되는 형식에 따라 데이터를 다시 생성해야 합니다.

• 델타 파일로 생성한 테이블의 경우 다음 사항에 유의하십시오.

  • 다음 특징이나 데이터 타입을 사용하는 Parquet 파일(Delta 테이블의 데이터 파일)은 지원되지 않습니다.

    • 필드 ID.

    • INTERVAL 데이터 타입.

    • 전체 자릿수가 38개보다 많은 DECIMAL 데이터 타입.

    • 1단계 또는 2단계 표현을 사용하는 LIST 또는 MAP 타입.

    • 부호 없는 정수 타입(INT(부호 있음 = false)).

    • FLOAT16 데이터 타입.

  • Parquet 물리적 유형 int96 을 TIMESTAMP 에 사용할 수 있지만, Snowflake는 int96 을 TIMESTAMP_NTZ 에 지원하지 않습니다.