Datentypen für Apache Iceberg™-Tabellen¶

Ungefähre Typen¶

Wenn Ihre Tabelle einen Iceberg-Datentyp verwendet, für den Snowflake keine exakte Übereinstimmung unterstützt, verwendet Snowflake einen ungefähr übereinstimmenden Snowflake-Datentyp. Diese Typzuordnung betrifft Spaltenwerte von konvertierten Tabellen und Iceberg-Tabellen, die Snowflake als Katalog verwenden.

Betrachten Sie beispielsweise eine Tabelle mit einer Spalte vom Iceberg-Typ int. Snowflake verarbeitet die Spaltenwerte mit dem Snowflake-Datentyp NUMBER(10,0).

NUMBER(10,0) hat einen Bereich von (-9.999.999.999, +9.999.999.999), aber int hat einen engeren Bereich von (-2.147.483.648, +2.147.483.647). Wenn Sie versuchen, einen Wert von 3.000.000.000 in diese Spalte einzufügen, gibt Snowflake eine Fehlermeldung zurück, dass der Wert außerhalb des Bereichs liegt.

Weitere Informationen zu ungefähren Datentypen finden Sie in den Anmerkungen unter Unterstützte Datentypen.

Unterstützte Datentypen¶

Die Tabellen in diesem Abschnitt zeigen die Beziehung zwischen Iceberg-Datentypen und Snowflake-Datentypen. Es werden die folgenden Spalten verwendet:

Iceberg-Typ:

Der in der Apache Iceberg-Spezifikation definierte Datentyp. Wenn Sie Snowflake als Katalog verwenden, schreibt Snowflake den Iceberg-Typ in Ihre Tabellendateien, sodass Ihre Tabellen über verschiedene Computemodule hinweg interoperabel bleiben.

Snowflake-Typ:

Der Snowflake-Datentyp, der für die Verarbeitung und Rückgabe von Tabellendaten verwendet wird. Wenn Ihr Schema beispielsweise den Iceberg-Typ timestamp angibt, verarbeitet und liefert Snowflake Werte mit dem Snowflake-Datentyp TIMESTAMP_NTZ(6) mit Mikrosekundengenauigkeit.

Anmerkungen:

Zusätzliche Nutzungshinweise, einschließlich Hinweise zur Verwendung von ungefähren Datentypen.

INSERT INTO geog_points
  SELECT TO_GEOGRAPHY('POINT(-122.3861109 37.61637595)');

INSERT INTO geog_points
  SELECT 'POINT(-122.3861109 37.61637595)';

CREATE ICEBERG TABLE geo_points (geom GEOMETRY)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'us_states'
  ICEBERG_VERSION = 3;

CREATE ICEBERG TABLE geo_points (geom GEOMETRY(4269))
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'us_states'
  ICEBERG_VERSION = 3;

INSERT INTO geo_points
  SELECT TO_GEOMETRY('POINT(-122.3861109 37.61637595)');

INSERT INTO geo_points
  SELECT 'POINT(-122.3861109 37.61637595)';

INSERT INTO geo_points
  SELECT TO_GEOMETRY('POINT(-122.3861109 37.61637595)', 4326);

CREATE ICEBERG TABLE sensor_readings (
    reading_ntz TIMESTAMP_NTZ(9),
    reading_ltz TIMESTAMP_LTZ(9))
  ICEBERG_VERSION = 3;

CREATE ICEBERG TABLE car_sales (record VARIANT)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'car_sales'
  ICEBERG_VERSION = 3;

USE DATABASE my_catalog_linked_db;

USE SCHEMA my_namespace;

CREATE ICEBERG TABLE car_sales (record VARIANT)
ICEBERG_VERSION = 3;

INSERT INTO car_sales SELECT
  PARSE_JSON(
    '{
        "date" : "2017-04-28",
        "dealership" : "Valley View Auto Sales",
        "salesperson" : {
          "id": "55",
          "name": "John Salesperson"
        },
        "customer" : [
          {"name": "Alice Doe", "phone": "14151234567", "address": "San Francisco, CA"},
          {"name": "Bob Doe", "phone": "14151234567", "address": "San Francisco, CA"}
        ],
        "vehicle" : [
          {"make": "Honda", "model": "Civic", "year": "2017", "price": "20275", "extras":["ext warranty", "paint protection"]}
        ]
      }'
    );

+--------------------------------------------+
| RECORD                                     |
|--------------------------------------------|
| {                                          |
|    "customer": [                           |
|      {                                     |
|        "address": "San Francisco, CA",     |
|        "name": "Alice Doe",                |
|        "phone": "14151234567"              |
|      },                                    |
|      {                                     |
|        "address": "San Francisco, CA",     |
|        "name": "Bob Doe",                  |
|        "phone": "14151234567"              |
|      }                                     |
|    ],                                      |
|    "date": "2017-04-28",                   |
|    "dealership": "Valley View Auto Sales", |
|    "salesperson": {                        |
|      "id": "55",                           |
|      "name": "John Salesperson"            |
|    },                                      |
|    "vehicle": [                            |
|      {                                     |
|        "extras": [                         |
|          "ext warranty",                   |
|          "paint protection"                |
|        ],                                  |
|        "make": "Honda",                    |
|        "model": "Civic",                   |
|        "price": "20275",                   |
|        "year": "2017"                      |
|      }                                     |
|    ]                                       |
|  }                                         |
+--------------------------------------------+

SELECT record:salesperson.name
  FROM car_sales
  ORDER BY 1;

+-------------------------+
| RECORD:SALESPERSON.NAME |
|-------------------------|
| "John Salesperson"      |
+-------------------------+

Delta-Datentypen¶

Die folgende Tabelle zeigt die Zuordnung von Delta-Datentypen zu Snowflake-Datentypen für Iceberg-Tabellen, die aus Delta-Tabellendateien erstellt wurden.

Die folgende Tabelle zeigt, wie die verschachtelten Delta-Datentypen den Snowflake-Datentypen zugeordnet werden.

Hinweise¶

Beachten Sie die folgenden Punkte, wenn Sie Datentypen für Iceberg-Tabellen verwenden:

• Das Konvertieren einer Tabelle mit Spalten, die die folgenden Iceberg-Datentypen verwenden, wird nicht unterstützt:

  • uuid

  • fixed(L)

• Bei Tabellen, die Snowflake als Katalog verwenden, wird das Erstellen einer Tabelle, die den Iceberg-Datentyp uuid verwendet, nicht unterstützt.

• Für Tabellen, die einen externen Katalog verwenden, können Sie keine Iceberg v3-Tabellen mit strukturierten Spalten erstellen, die OBJECT, ARRAY oder MAP enthalten. Sie können zum Beispiel nicht CREATE ICEBERG TABLE … AS SELECT (CTAS) verwenden, um eine extern verwaltete Iceberg v3-Tabelle mit strukturierten Spalten zu erstellen.

  Sie können von Snowflake verwaltete Iceberg v3-Tabellen mit strukturierte Spalten erstellen.

• Für alle Iceberg-Tabellentypen gilt:

  • Spalten vom strukturierten Typ unterstützen maximal 1.000 Unterspalten.

  • Iceberg unterstützt Mikrosekundengenauigkeit für Zeit- und Zeitstempeltypen. Folglich können Sie in Snowflake keine Iceberg-Tabelle erstellen, die eine andere Genauigkeit wie z. B. Millisekunden oder Nanosekunden verwendet.

  • Sie können float oder double nicht als Primärschlüssel verwenden (in Übereinstimmung mit der Apache Iceberg-Spezifikation).

  • Bei Parquet-Dateien, die den logischen Typ LIST verwenden, sollten Sie Folgendes beachten:

    • Die dreistufige Anmerkungsstruktur mit dem Schlüsselwort element wird unterstützt. Weitere Informationen dazu finden Sie unter Definitionen für logische Parquet-Typen. Wenn Ihre Parquet-Datei ein veraltetes Format mit dem Schlüsselwort array verwendet, müssen Sie Ihre Daten auf der Grundlage des unterstützten Formats neu generieren.

• Bei Tabellen, die aus Delta-Dateien erstellt wurden, sollten Sie Folgendes beachten:

  • Parquet-Dateien (Datendateien für Delta-Tabellen), die eines der folgenden Features oder Datentypen verwenden, werden nicht unterstützt:

    • Feld-IDs

    • Der Datentyp INTERVAL.

    • Der Datentyp DECIMAL mit einer Präzision von mehr als 38.

    • LIST oder MAP-Typen mit ein- oder zweistufiger Darstellung.

    • Ganzzahl-Typen ohne Vorzeichen (INT(vorzeichenbehaftet = falsch)).

    • Der Datentyp FLOAT16.

  • Sie können den physischen Parquet-Typ int96 für TIMESTAMP verwenden, aber Snowflake unterstützt int96 nicht für TIMESTAMP_NTZ.