Apache Iceberg™ テーブルのデータ型¶

近似一致型¶

テーブルが、Snowflakeが 完全一致 をサポートしていないIcebergデータ型を使用している場合、Snowflakeは 近似一致 のSnowflake型を使用します。この型マッピングは、変換されたテーブルと、Snowflakeをカタログとして使用するIcebergテーブルの列の値に影響します。

例えば、Iceberg型 int の列を持つテーブルを考えてみましょう。Snowflakeは、Snowflakeデータ型 NUMBER(10,0)を使用して列の値を処理します。

NUMBER(10,0)の範囲は(-9,999,999,999,+9,999,999,999)ですが、 int の範囲はさらに制限された(-2,147,483,648,+2,147,483,647)です。その列に3,000,000,000の値を挿入しようとすると、Snowflakeは範囲外のエラーメッセージを返します。

近似一致型の詳細については、 サポートされているデータ型 表の注釈をご参照ください。

サポートされているデータ型¶

このセクションの次のテーブルは、Icebergデータ型とSnowflakeデータ型の関係を示しています。以下の列を使用します。

Iceberg型:

Apache Iceberg仕様で定義されているデータ型。Snowflakeをカタログとして使用する場合、SnowflakeはテーブルデータファイルにIceberg型を書き込むため、異なるコンピュートエンジン間でテーブルの相互運用性を維持することができます。

Snowflake型:

テーブルデータを処理して返すために使用されるSnowflakeデータ型。例えば、スキーマがIceberg型 timestamp を指定した場合、Snowflakeはマイクロ秒精度でSnowflakeデータ型 TIMESTAMP_NTZ(6) を使用して値を処理して返します。

注意:

近似一致型 を使用する際の注意事項を含む、その他の使用上の注意事項。

INSERT INTO geog_points
  SELECT TO_GEOGRAPHY('POINT(-122.3861109 37.61637595)');

INSERT INTO geog_points
  SELECT 'POINT(-122.3861109 37.61637595)';

CREATE ICEBERG TABLE geo_points (geom GEOMETRY)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'us_states'
  ICEBERG_VERSION = 3;

CREATE ICEBERG TABLE geo_points (geom GEOMETRY(4269))
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'us_states'
  ICEBERG_VERSION = 3;

INSERT INTO geo_points
  SELECT TO_GEOMETRY('POINT(-122.3861109 37.61637595)');

INSERT INTO geo_points
  SELECT 'POINT(-122.3861109 37.61637595)';

INSERT INTO geo_points
  SELECT TO_GEOMETRY('POINT(-122.3861109 37.61637595)', 4326);

CREATE ICEBERG TABLE sensor_readings (
    reading_ntz TIMESTAMP_NTZ(9),
    reading_ltz TIMESTAMP_LTZ(9))
  ICEBERG_VERSION = 3;

CREATE ICEBERG TABLE car_sales (record VARIANT)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'car_sales'
  ICEBERG_VERSION = 3;

USE DATABASE my_catalog_linked_db;

USE SCHEMA my_namespace;

CREATE ICEBERG TABLE car_sales (record VARIANT)
ICEBERG_VERSION = 3;

INSERT INTO car_sales SELECT
  PARSE_JSON(
    '{
        "date" : "2017-04-28",
        "dealership" : "Valley View Auto Sales",
        "salesperson" : {
          "id": "55",
          "name": "John Salesperson"
        },
        "customer" : [
          {"name": "Alice Doe", "phone": "14151234567", "address": "San Francisco, CA"},
          {"name": "Bob Doe", "phone": "14151234567", "address": "San Francisco, CA"}
        ],
        "vehicle" : [
          {"make": "Honda", "model": "Civic", "year": "2017", "price": "20275", "extras":["ext warranty", "paint protection"]}
        ]
      }'
    );

+--------------------------------------------+
| RECORD                                     |
|--------------------------------------------|
| {                                          |
|    "customer": [                           |
|      {                                     |
|        "address": "San Francisco, CA",     |
|        "name": "Alice Doe",                |
|        "phone": "14151234567"              |
|      },                                    |
|      {                                     |
|        "address": "San Francisco, CA",     |
|        "name": "Bob Doe",                  |
|        "phone": "14151234567"              |
|      }                                     |
|    ],                                      |
|    "date": "2017-04-28",                   |
|    "dealership": "Valley View Auto Sales", |
|    "salesperson": {                        |
|      "id": "55",                           |
|      "name": "John Salesperson"            |
|    },                                      |
|    "vehicle": [                            |
|      {                                     |
|        "extras": [                         |
|          "ext warranty",                   |
|          "paint protection"                |
|        ],                                  |
|        "make": "Honda",                    |
|        "model": "Civic",                   |
|        "price": "20275",                   |
|        "year": "2017"                      |
|      }                                     |
|    ]                                       |
|  }                                         |
+--------------------------------------------+

SELECT record:salesperson.name
  FROM car_sales
  ORDER BY 1;

+-------------------------+
| RECORD:SALESPERSON.NAME |
|-------------------------|
| "John Salesperson"      |
+-------------------------+

デルタデータ型¶

次の表は、 デルタテーブルファイルから作成されたIcebergテーブル について、デルタデータ型とSnowflakeデータ型の対応関係を示しています。

次の表は、デルタ入れ子データ型がSnowflakeデータ型にどのようにマッピングされるかを示しています。

考慮事項¶

Icebergテーブルのデータ型で作業する場合、次の項目を考慮してください。

• 次のIcebergデータ型を使用する列を持つ テーブルの変換 はサポートされていません。

  • uuid

  • fixed(L)

• Snowflakeをカタログとして使用するテーブルでは、Iceberg uuid データ型を使用するテーブルの作成はサポートされていません。

• 外部カタログを使用するテーブルの場合、OBJECT、ARRAY、MAPのいずれかを含む構造化された型の列を持つIceberg v3テーブルを作成することができません。たとえば、CREATE ICEBERG TABLE … AS SELECT (CTAS)を使用して、構造化された型の列を持つ外部管理Iceberg v3テーブルを作成することができません。

  構造化された型の列を持つSnowflake管理Iceberg v3テーブルを作成できます。

• すべてのIcebergテーブルタイプ用:

  • 構造化型列は最大1000個のサブ列をサポートします。

  • Icebergは時刻とタイムスタンプ型のマイクロ秒精度をサポートしています。その結果、ミリ秒やナノ秒などの別の精度を使用するIcebergテーブルをSnowflakeでは作成できません。

  • float や double を主キーとして使用することはできません（Apache Iceberg仕様 に準拠）。

  • LIST 論理的タイプを使用する Parquet ファイルでは、以下の点に注意してください。

    • element キーワードによる3レベルの注釈構造がサポートされています。詳細については、 Parquet理論型の定義 をご参照ください。Parquet ファイルが array キーワードで廃止された形式を使用している場合は、サポートされている形式に基づいてデータを再生成する必要があります。

• Deltaファイルから作成されたテーブルについては、以下の点に注意してください。

  • 以下の機能やデータタイプを使用したParquetファイル（Delta テーブルのデータファイル）はサポートされていません。

    • フィールド IDs

    • INTERVAL データ型。

    • 38以上の精度を持つ DECIMAL データ型。

    • LIST または MAP で、1レベルまたは2レベルの表現を持つタイプ。

    • 符号なし整数型 （INT(signed = false)）。

    • FLOAT16 データ型。

  • TIMESTAMP にParquet物理タイプ int96 を使用できますが、Snowflakeでは TIMESTAMP_NTZ に int96 をサポートしていません。