Apache Iceberg™-Tabellen verwalten¶

Beispiel: Eine Tabelle aktualisieren¶

Sie können INSERT- und UPDATE- Anweisungen verwenden, um von Snowflake verwaltete Iceberg-Tabellen zu ändern.

Im folgenden Beispiel wird in eine Iceberg-Tabelle namens store_sales ein neuer Wert eingefügt, und dann wird die Spalte cola auf 1 aktualisiert, wenn der Wert derzeit -99 ist.

INSERT INTO store_sales VALUES (-99);

UPDATE store_sales
  SET cola = 1
  WHERE cola = -99;

Abfragen von Tabellen¶

Snowflake unterstützt die Abfrage von extern verwalteten Iceberg-Tabellen, wenn Sie Löschungen auf Zeilenebene für Aktualisierungs-, Lösch- und Zusammenführungsoperationen konfiguriert haben.

Wie Sie Löschungen auf Zeilenebene konfigurieren können, finden Sie unter Schreibeigenschaften in der Apache Iceberg Dokumentation.

Schreiben in Tabellen mithilfe von positionsbezogenen Löschdateien¶

Snowflake unterstützt Löschvorgänge auf Zeilenebene, um in extern verwaltete Iceberg-Tabellen zu schreiben, die auf Amazon S3, Azure oder Google Cloud gespeichert sind. Um Positionslöschungen zu deaktivieren, was die Ausführung von DML-Operationen im Copy-on-Write-Modus ermöglicht, setzen Sie den ENABLE_ICEBERG_MERGE_ON_READ-Parameter auf Tabellen-, Schema- oder Datenbankebene auf FALSE.

Schreiben in Tabellen mithilfe von Löschvektoren¶

Um Datenänderungen auf Zeilenebene zu optimieren, unterstützt Snowflake Löschvektoren für das Schreiben in extern verwaltete und Snowflake-verwaltete Iceberg-Tabellen, die in Amazon S3, Azure oder Google Cloud gespeichert sind. Mit Löschvektoren kann Snowflake „Merge-on-Read“ (MOR)-Operationen ausführen, die die Schreibleistung für die folgenden DML-Anweisungen verbessern:

• DELETE

• UPDATE

• MERGE

Snowflake erreicht diese Leistung, indem kleine Vektordateien geschrieben werden, anstatt große Datendateien umzuschreiben. Weitere Informationen dazu finden Sie unter Löschvektoren in der Apache Iceberg-Spezifikation.

Copy-on-Write vs. Merge-on-Read¶

Iceberg bietet zwei Modi, um zu konfigurieren, wie Compute Engines Operationen auf Zeilenebene für extern verwaltete Tabellen behandeln. Snowflake unterstützt diese beiden Modi.

Die folgende Tabelle beschreibt, wann Sie die einzelnen Modi verwenden sollten:

Weitere Informationen über Änderungen auf Zeilenebene für Iceberg finden Sie unter Löschungen auf Zeilenebene in der Apache Iceberg-Dokumentation.

Hinweise und Einschränkungen¶

Beachten Sie die folgenden Informationen, wenn Sie Löschvorgänge auf Zeilenebene mit Iceberg-Tabellen verwenden:

• Snowflake unterstützt positionsbezogene Löschungen nur für v2 Iceberg-Tabellen und Löschvektoren für v3 Iceberg-Tabellen.

• Snowflake unterstützt nur das Löschen von positionsbezogenen Löschungen mit extern verwalteten Iceberg-Tabellen.

• Um die beste Leseleistung zu erzielen, wenn Sie Löschungen auf Zeilenebene verwenden, führen Sie regelmäßig eine Verdichtung und Tabellenpflege durch, um alte Löschdateien zu entfernen. Weitere Informationen dazu finden Sie unter Tabellen warten, die einen externen Katalog verwenden.

• Übermäßige Positionslöschungen, insbesondere verwaiste Positionslöschungen, können das Erstellen von Tabellen und Aktualisierungsoperationen verhindern. Um dieses Problem zu vermeiden, führen Sie eine Tabellenwartung durch, um zusätzliche Positionslöschungen zu entfernen.

  Die zu verwendende Methode zur Wartung der Tabellen hängt von Ihrer externen Iceberg-Engine ab. Sie können zum Beispiel die rewrite_data_files-Methode für Spark mit der Option delete-file-threshold oder rewrite-all verwenden. Weitere Informationen dazu finden Sie unter rewrite_data_files in der Apache Iceberg™-Dokumentation.

Automatic Clustering¶

Automatic Clustering reorganisiert Daten in Dateien oder Partitionen auf der Grundlage häufig abgefragter Spalten. Die Dateigröße für Iceberg-Tabellen basiert auf Ihrer Clustering-Konfiguration, es sei denn, Sie legen eine Zieldateigröße fest. Wenn Sie dies tun, entspricht die Dateigröße der von Ihnen festgelegten Größe. Weitere Informationen dazu finden Sie unter Zieldateigröße festlegen.

Um Automatic Clustering einzustellen, geben Sie den Parameter CLUSTER BY an, wenn Sie eine von Snowflake verwaltete Iceberg-Tabelle erstellen oder eine bestehende Tabelle ändern. Weitere Informationen dazu finden Sie unter:

• CREATE ICEBERG TABLE (Snowflake als Iceberg-Katalog)

• ALTER ICEBERG TABLE

Weitere Informationen zu Automatic Clustering finden Sie unter Automatic Clustering.

Datenkomprimierung¶

Bei der Datenkomprimierung werden kleine Dateien zu größeren, effizienteren Dateien kombiniert, um den Speicherplatz zu verwalten, eine optimale Dateigröße beizubehalten und die Abfrageleistung zu verbessern.

In den meisten Fällen hat die Datenkomprimierung keinen nennenswerten Einfluss auf die Computekosten, aber wenn diese Kosten ein Problem darstellen, können Sie die Komprimierung deaktivieren. Sie können zum Beispiel die Komprimierung für eine Tabelle deaktivieren, wenn Sie sie nur selten abfragen. Informationen zum Deaktivieren bzw. Aktivieren der Datenkomprimierung finden Sie unter Datenkomprimierung festlegen.

Manifestkomprimierung¶

Die Manifestkomprimierung optimiert die Metadatenschicht, indem kleinere Manifestdateien neu organisiert und kombiniert werden. Diese Komprimierung reduziert den Metadaten-Overhead und verbessert die Abfrageleistung.

Dieses Feature ist automatisch aktiviert und Sie können es nicht deaktivieren.

Ablauf von Snapshots¶

Durch den Ablauf von Snapshots werden systematisch alte Snapshots und deren eindeutige Daten- und Metadatendateien aus dem Tabellenverlauf gelöscht. Dieses Löschen basiert auf vordefinierten Aufbewahrungsrichtlinien.

Dieses Feature ist automatisch aktiviert und Sie können es nicht deaktivieren.

Aktualisieren der Metadaten für eine Tabelle¶

Das folgende Beispiel aktualisiert manuell die Metadaten für eine Tabelle, die einen externen Katalog verwendet (z. B. AWS Glue oder Delta). Durch das Aktualisieren der Tabelle wird die Tabelle mit allen Änderungen, die im Remote-Katalog vorgenommen wurden, synchronisiert.

Bei diesem Typ von Iceberg-Tabelle geben Sie im Befehl keinen Pfad zur Metadatendatei an.

ALTER ICEBERG TABLE my_iceberg_table REFRESH;

Um eine Tabelle automatisch zu aktualisieren, können Sie automatische Aktualisierung einrichten. Verwenden Sie den Befehl ALTER ICEBERG TABLE.

Beispiel:

ALTER ICEBERG TABLE my_iceberg_table SET AUTO_REFRESH = TRUE;

Aktualisieren Sie die Metadaten für eine aus Iceberg-Dateien erstellte Tabelle¶

Im folgenden Beispiel wird eine Tabelle manuell aktualisiert, die aus Iceberg-Metadatendateien in einem externen Cloudspeicherort erstellt wurde, wobei der relative Pfad zu einer Metadatendatei ohne Schrägstrich (/) angegeben wird. Die Metadatendatei definiert die Daten in der Tabelle nach dem Aktualisieren.

ALTER ICEBERG TABLE my_iceberg_table REFRESH 'metadata/v1.metadata.json';

Beispiel: Erstellen einer Tabelle mit einem Standardwert¶

Um eine Iceberg-Tabelle mit Standardwerten zu erstellen, verwenden Sie den Befehl CREATE ICEBERG TABLE.

Im folgenden Beispiel legen Sie zunächst einen Standardwert für eine Spalte fest, wenn Sie eine von Snowflake verwaltete Iceberg-Tabelle erstellen. Als Nächstes fügen Sie einen Datensatz in die Tabelle ein, ohne einen Wert für die Spalte mit dem Standardwert anzugeben.

1. Erstellen Sie eine user_events-Tabelle, die eine event_version-Spalte mit dem Standardwert 2 enthält:

   CREATE ICEBERG TABLE user_events (
       event_id INT,
       user_id INT,
       event_type STRING,
       event_time TIMESTAMP,
       event_version INT DEFAULT 2
     )
     CATALOG = 'SNOWFLAKE'
     EXTERNAL_VOLUME = 'my_external_volume'
     BASE_LOCATION = 'database/schema/user_event'
     ICEBERG_VERSION = 3;
   

   Copy

   Durch Festlegen eines Standardwerts in der Tabellendefinition wird ein anfänglicher Standardwert und ein Schreibstandard festgelegt. Da die Spalte einen Schreibstandard hat, wird der Wert 2 für neue Datensätze verwendet, wenn die event_version beim Schreiben nicht angegeben wird.

2. Fügen Sie ein Anmeldeereignis mit angegebener event_version hinzu:

   INSERT INTO user_events VALUES
     (1, 101, 'login', '2025-11-01 10:00:00', 1);
   

   Copy

3. Fügen Sie ein Kaufereignis hinzu, geben Sie aber keine event_version an:

   INSERT INTO user_events VALUES
   (1, 101, 'purchase', '2025-11-01 10:01:00');
   

   Copy

   Als Ergebnis gibt Snowflake den Wert für die event_version in die Tabelle als 2 ein.

4. Abfragen der Tabelle:

   SELECT * FROM user_events;
   

   Copy

   Ausgabe:

   +-----------+----------+-------------+---------------------+----------------+
   | event_id  | user_id  | event_type  | event_time          | event_version  |
   +-----------+----------+-------------+---------------------+----------------+
   | 1         | 101      | login       | 2025-11-01 10:00:00 | 1              |
   | 1         | 101      | purchase    | 2025-11-01 10:01:00 | 2              |
   +-----------+----------+-------------+---------------------+----------------+
   

Beispiel: Hinzufügen einer Spalte mit einem Standardwert zu einer bestehenden Tabelle¶

Um eine neue Spalte mit einem Standardwert zu einer Iceberg-Tabelle hinzuzufügen, verwenden Sie den Befehl ALTER ICEBERG TABLE.

Im folgenden Beispiel ändern Sie die user_events-Tabelle durch Hinzufügen einer event_version-Spalte, die den Standardwert 2 hat:

ALTER ICEBERG TABLE user_events ADD COLUMN event_version INT DEFAULT 2;

Zusätzlich zum Festlegen eines Schreibstandards wird durch das Hinzufügen einer Spalte mit einem Standardwert auch ein anfänglicher Standardwert für die Spalte festgelegt. Infolgedessen lautet der Standardwert für vorhandene Datensätze für die event_version-Spalte 2.

Beispiel: Ändern des Schreibstandards für eine Spalte¶

Im folgenden Beispiel wird der Schreibstandard für die event_version-Spalte der user_events-Tabelle in 3 geändert:

ALTER ICEBERG TABLE user_events ALTER COLUMN event_version SET WRITE DEFAULT 3;

Anzeigen der für eine Tabelle definierten Standardwerte¶

Um den Standardwert für eine Tabellenspalte in einer von Snowflake verwalteten oder extern verwalteten Iceberg-Tabelle anzuzeigen, führen Sie den Befehl DESCRIBE ICEBERG TABLE aus, und zeigen Sie dann die DEFAULT-Spalte und die WRITE DEFAULT-Spalte in der Ausgabe an:

• Die Spalte DEFAULT wird dem initial-default-Wert in der Apache Iceberg-Spezifikation zugeordnet.

• Die Spalte WRITE DEFAULT wird dem write-default-Wert in der Apache Iceberg-Spezifikation zugeordnet.

Diese Spalten werden in der Ausgabe zurückgegeben, unabhängig davon, ob es sich bei der Tabelle um eine v2 Iceberg-Tabelle oder eine v3 Iceberg-Tabelle handelt.

Im folgenden Beispiel werden die Spalten für die user_events-Tabelle beschrieben. Diese Tabelle hat einen anfänglichen Standardwert und einen Schreibstandard, der für die event_version-Spalte festgelegt ist:

DESC ICEBERG TABLE user_events
  ->> SELECT
    "name",
    "kind",
    "default",
    "write default"
      FROM $1;

Ausgabe:

+-----------------+---------+---------+---------------+
| name            | kind    | default | write default |
+-----------------+---------+-------------------------+
| EVENT_ID        | COLUMN  |         |               |
| USER_ID         | COLUMN  |         |               |
| EVENT_TYPE      | COLUMN  |         |               |
| EVENT_TIME      | COLUMN  |         |               |
| EVENT_VERSION   | COLUMN  | 2       | 3             |
+-----------------+---------+---------+---------------+

Löschen des Schreibstandards¶

Um den Schreibstandard für eine Spalte zu löschen, verwenden Sie die Schlüsselwörter DROP WRITE DEFAULT mit dem Befehl ALTER ICEBERG TABLE.

Im folgenden Beispiel wird der Standard-Schreibwert für die event_version-Spalte gelöscht:

ALTER ICEBERG TABLE user_events ALTER COLUMN event_version DROP WRITE DEFAULT;

Hinweise und Einschränkungen für Standardwerte¶

Beachten Sie die folgenden Punkte, wenn Sie Standardwerte mit von Snowflake verwalteten und extern verwalteten Iceberg-Tabellen verwenden:

Hinweise und Einschränkungen für die Zeilenherkunft¶

Die Zeilenherkunft wird in Streams unter Berücksichtigung der folgenden Punkte unterstützt:

• Nur-Anfügen-Streams und Standard-Streams werden für von Snowflake verwaltete Iceberg v3-Tabellen unterstützt.

• Nur-Einfügen-Streams und Standard-Streams werden für extern verwaltete Iceberg v3-Tabellen unterstützt.

  • Damit Standard-Streams die korrekten Ergebnisse liefern, muss die externe Engine unter Berücksichtigung der Iceberg v3-Spezifikation in Iceberg v3-Tabellen schreiben. Insbesondere sollten neu eingefügte Zeilen über _row_id=NULL verfügen. Zeilen, die während Copy-on-Write kopiert werden, sollten die _row_id beibehalten.

  • MAX_DATA_EXTENSION_TIME_IN_DAYS funktioniert nicht bei extern verwalteten Iceberg v3-Tabellen.

• Wenn DMLs über Transaktionen mit mehreren Anweisungen bestätigt werden, haben Nur-Anfügen-Streams auf Iceberg v3-Tabellen eine andere Semantik als Iceberg v2-Tabellen:

  • Wenn in Iceberg v2 bei Nur-Anfügen-Streams eine Zeile in einer Transaktion mit mehreren Anweisungen hinzugefügt und dann gelöscht wird, wird diese Zeile als Einfügung betrachtet.

  • In Iceberg v3 wird diese Zeile bei Nur-Anfügen-Streams nicht als Einfügung behandelt.

Diese Hinweise und Einschränkungen gelten für die Zeilenherkunft, die ein Feature von Iceberg v3 ist. Eine Liste der Hinweise und Einschränkungen, die für alle Iceberg v3-Tabellen gelten, finden Sie unter Hinweise und Einschränkungen zu Iceberg v3-Features.