Apache Iceberg™-Tabellen: Unterstützung für Apache Iceberg™ v3 (Vorschau)¶

Datentypen¶

Die folgenden v3-Datentypen werden in der öffentlichen Vorschau unterstützt:

• geography

• geometry

• nanosecond

• variant

Weitere Informationen dazu finden Sie unter Iceberg v3-Datentypen.

Standardwerte¶

Siehe Standardwerte.

Löschvektoren¶

Siehe Löschvektoren.

Zeilenherkunft¶

Siehe Zeilenherkunft.

Nutzungshinweise¶

• Um den Parameter ICEBERG_VERSION_DEFAULT auf Kontoebene zu ändern, müssen Sie ein Kontoadmin sein; das heißt, Sie müssen ein Benutzender mit der ACCOUNTADMIN-Rolle sein.

• Um den Parameter ICEBERG_VERSION_DEFAULT auf Datenbank- oder Schemaebene zu ändern, muss die Rolle, mit der der Vorgang ausgeführt wird, die OWNERSHIP-Berechtigung für die jeweilige Datenbank oder das Schema haben.

Beispiele¶

Geben Sie an, dass neue Iceberg-Tabellen in der Datenbank my_db mit v3 erstellt werden sollen:

ALTER DATABASE my_db SET ICEBERG_VERSION_DEFAULT=3;

Erstellen Sie eine neue, extern verwaltete Iceberg-Tabelle mit v3. Die im Befehl enthaltenen Spaltendefinitionen zeigen an, dass im Remote-Katalog eine neue Tabelle erstellt oder eine bestehende Tabelle ersetzt wird. Die Tabelle wird erfolgreich erstellt, da es sich um eine neue Tabelle handelt, für die noch keine Version vorhanden ist.

CREATE OR REPLACE ICEBERG TABLE my_iceberg_v3_table (
    boolean_col boolean,
    int_col int,
    long_col long,
  )
  CATALOG='my_catalog_integration'
  ICEBERG_VERSION=3;

Erstellen Sie eine extern verwaltete Iceberg-Tabelle mit v3 aus einer bestehenden Tabelle mit Iceberg-Metadaten. Das Fehlen einer Spaltendefinitionen oder einer Formatversion in diesem Beispiel zeigt an, dass diese Tabelle bereits existiert und die Spaltenspezifikation und die Formatversion aus den Iceberg-Metadaten aus dem Remote-Katalog abgeleitet werden. Dieses Beispiel verwendet vom Katalog bereitgestellte Anmeldeinformationen. Der Parameter EXTERNAL_VOLUME ist daher nicht in der CREATE ICEBERG TABLE-Anweisung enthalten:

CREATE OR REPLACE ICEBERG TABLE my_iceberg_v3_table
  CATALOG = 'my_catalog_integration'
  CATALOG_TABLE_NAME = 'my_table'
  AUTO_REFRESH = TRUE;

Nicht unterstützte Snowflake-Features¶

Die folgenden Snowflake-Features werden in dieser Vorschau für Iceberg v3 nicht unterstützt:

• Nur-Anfügen-Streams für extern verwaltete Iceberg-Tabellen

• dbt-Projekte in Snowflake

• Schema-Inferenz

• Snowpipe Streaming classic architecture

• SnowGov-Regionen

• Für Tabellen, die einen externen Katalog verwenden, können Sie keine Iceberg v3-Tabellen mit strukturierten Spalten erstellen, die OBJECT, ARRAY oder MAP enthalten. Sie können zum Beispiel nicht CREATE ICEBERG TABLE … AS SELECT (CTAS) verwenden, um eine extern verwaltete Iceberg v3-Tabelle mit strukturierten Spalten zu erstellen.

  Sie können von Snowflake verwaltete Iceberg v3-Tabellen mit strukturierte Spalten erstellen.

• Ein In-Place-Upgrade einer Snowflake-verwalteten Iceberg-Tabelle von v2 auf v3, das das Klonen einer v2-Tabelle und das anschließende Upgrade des Klons auf v3 umfasst.

  Wichtig

  Wenn Sie Apache Spark verwenden, um eine extern verwaltete Iceberg-Tabelle von v2 auf v3 zu aktualisieren, müssen Sie ein Commit verwenden, das einen neuen Snapshot erstellt, wie z. B. DML-Vorgänge. Wenn aber die Formatversion in den Tabelleneigenschaften ohne einen neuen Snapshot aktualisiert wird, schlägt die manuelle und automatische Aktualisierung von Snowflake für die Tabelle fehl, bis ein neuer Snapshot erstellt wird.

  Das folgende Beispiel verwendet Apache Spark, um eine extern verwaltete Iceberg-Tabelle von v2 auf v3 zu aktualisieren:

  ALTER TABLE table_name SET TBLPROPERTIES('format-version'='3');
  

  Copy

Unterstützte Snowflake-Features¶

Features, die nicht im Abschnitt Nicht unterstützte Snowflake-Features aufgeführt sind, werden unterstützt. Zu den unterstützten Features gehören die in der folgenden Liste:

Nicht unterstützte Iceberg v3-Features¶

Die folgenden Features aus der Iceberg v3-Spezifikation werden nicht unterstützt:

• Verschachtelte Variante

• Transformationen mit mehreren Argumenten für Partitionierung und Sortierung

• Tabellenverschlüsselungsschlüssel

• Datentyp UNKNOWN

Erstellen einer v3 Iceberg-Tabelle¶

Im folgenden Beispiel wird eine von Snowflake verwaltete Apache Iceberg™-Tabelle erstellt, die v3 der Apache Iceberg™-Spezifikation entspricht:

CREATE ICEBERG TABLE my_v3_iceberg_table (
  record VARIANT,
  event_timestamp TIMESTAMP_LTZ(6)
)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'my_iceberg_table'
  ICEBERG_VERSION = 3;

Im folgenden Beispiel wird eine Apache Iceberg™-Tabelle erstellt, die einen externen Iceberg REST-Katalog verwendet und v3 der Apache Iceberg™-Spezifikation entspricht:

CREATE ICEBERG TABLE my_v3_iceberg_table
  EXTERNAL_VOLUME = 'my_external_volume'
  CATALOG = 'my_rest_catalog_integration'
  CATALOG_TABLE_NAME = 'my_remote_table'
  AUTO_REFRESH = TRUE;

Im folgenden Beispiel wird eine schreibfähige Iceberg-Tabelle in einer katalogverknüpften Datenbank mit Spaltendefinitionen erstellt, die v3 der Apache Iceberg™-Spezifikation entspricht:

USE DATABASE my_catalog_linked_db;

USE SCHEMA 'my_namespace';

CREATE OR REPLACE ICEBERG TABLE my_iceberg_table (
  first_name string,
  last_name string,
  amount int,
  create_date date
)
  ICEBERG_VERSION = 3;

Schreiben in eine Iceberg v3-Tabelle¶

Die DML-Befehle INSERT, UPDATE, DELETE, MERGE, TRUNCATE TABLE und COPY INTO werden für das Schreiben in von Snowflake verwaltete und extern verwaltete Iceberg v3-Tabellen unterstützt:

Im folgenden Beispiel wird eine Zeile in eine Apache Iceberg™-Tabelle eingefügt, die v3 der Apache Iceberg™-Tabellenspezifikation entspricht:

INSERT INTO my_v3_iceberg_table (id, payload) VALUES (1, PARSE_JSON('{"name": "Alice", "age": 30}'));

Im folgenden Beispiel werden Dateien in eine Apache Iceberg™-Tabelle geladen, die v3 der Apache Iceberg™-Tabellenspezifikation entspricht:

COPY INTO my_v3_iceberg_table
  FROM @my_json_stage
  FILE_FORMAT = 'my_json_format'
  MATCH_BY_COLUMN_NAME = CASE_SENSITIVE;

Laden von Daten mit Snowpipe¶

Im folgenden Beispiel werden Daten aus Dateien für Iceberg v3-Tabellen geladen, sowohl für von Snowflake verwaltete als auch für extern verwaltete Tabellen:

CREATE PIPE mypipe
  AUTO_INGEST = TRUE
  INTEGRATION = 'MYINT'
  AS
  COPY INTO snowpipe_db.public.my_v3_iceberg_table
  FROM @snowpipe_db.public.mystage
  FILE_FORMAT = (TYPE = 'JSON');

Erstellen einer dynamischen Iceberg v3-Tabelle¶

Das folgende Beispiel schreibt eine von Snowflake verwaltete Iceberg v3-Tabelle als Ausgabe einer dynamischen Tabelle:

CREATE DYNAMIC ICEBERG TABLE my_dynamic_iceberg_v3_table (
    num_orders NUMBER(10,0),
    order_day
  )
  TARGET_LAG = '20 minutes'
  WAREHOUSE = my_warehouse
  EXTERNAL_VOLUME = 'my_external_volume'
  CATALOG = 'SNOWFLAKE'
  BASE_LOCATION = 'my_dynamic_iceberg_v3_table'
  ICEBERG_VERSION = 3
  AS
    SELECT
        COUNT(DISTINCT order_id)
        DATE_TRUNC('DAY', order_timestamp_ns) AS order_day
      FROM staging_v3_iceberg_table;

Abfrage einer Iceberg v3-Tabelle¶

Im folgenden Beispiel wird eine von Snowflake verwaltete oder extern verwaltete Iceberg v3-Tabelle abgefragt:

SELECT * FROM MY_DB.MY_SCHEMA.MY_ICEBERG_V3_TABLE;

Copy