Metadaten und Speicher für Apache Iceberg™-Tabellen¶

Erstellung¶

Snowflake generiert in regelmäßigen Abständen Metadaten für Version 2 der Apache Iceberg-Spezifikation und schreibt die Metadaten in Dateien auf Ihrem externen Datenträger. Jede neue Metadatendatei enthält alle DML- oder DDL-Änderungen seit der Erstellung der letzten von Snowflake generierten Metadatendatei.

Sie können Metadaten mit der Funktion SYSTEM$GET_ICEBERG_TABLE_INFORMATION auch bei Bedarf erstellen. Eine Anleitung dazu finden Sie unter Snapshots von DML-Änderungen generieren.

Informationen zur Lokalisierung von Dateien mit Metadaten finden Sie unter Daten- und Metadatenverzeichnisse.

Verlauf der Metadatenerstellung anzeigen¶

Um auf einen vollständigen Verlauf der Versuche zur Metadatengenerierung zuzugreifen, rufen Sie den Abfrageverlauf für Ihr Konto auf und filtern Sie die Ergebnisse. Suchen Sie nach dem SYSTEM$GET_ICEBERG_TABLE_INFORMATION Funktionsnamen im SQL-Text.

Snowflake verwendet intern die gleiche Funktion SYSTEM$GET_ICEBERG_TABLE_INFORMATION zur Generierung von Tabellenmetadaten. Die von Snowflake unternommenen Versuche erscheinen im Abfrageverlauf unter dem Benutzer mit der Bezeichnung SYSTEM. Die Spalte STATUS im Abfrageverlauf zeigt an, ob Metadaten erfolgreich generiert wurden.

Informationen zu den Anzeigeoptionen finden Sie unter Abfrageaktivität mit Abfrageverlauf überwachen.

Löschung¶

Snowflake löscht Iceberg-Metadaten aus Ihrem externen Cloudspeicher, wenn die folgenden Ereignisse eintreten:

• Nachdem Sie eine Tabelle gelöscht haben

• Wenn sich die Iceberg-Metadaten auf abgelaufene Snapshots oder Tabellendaten beziehen

Die Löschung erfolgt nicht unmittelbar nach Ablauf der Datenaufbewahrungsfrist. Daher können für die Speicherung von Metadaten bei Ihrem Cloudspeicheranbieter Kosten anfallen, die über die Lebensdauer einer Tabelle hinausgehen.

Delta-basierte Tabellen¶

Für Iceberg-Tabellen, die aus Delta-Tabellendateien erstellt wurden, schreibt Snowflake automatisch Iceberg-Metadaten auf Ihren externen Speicher, wenn Sie Ihr externes Volume mit Schreibzugriff konfigurieren (siehe ALLOW_WRITES). Weitere Informationen über den Schreibort finden Sie unter Daten- und Metadatenverzeichnisse.

Um zu verhindern, dass Snowflake Iceberg-Metadaten schreibt, können Sie den Parameter ALLOW_WRITES auf Ihrem externen Volume auf FALSE einstellen, solange keine von Snowflake verwalteten Iceberg-Tabellen dasselbe externe Volume verwenden.

„Versteckte“ Partitionierung¶

Die „versteckte“ Partitionierung für Apache Iceberg™ basiert auf Metadaten und ist anpassungsfähig. Iceberg erzeugt Partitionswerte basierend auf Transformationen, die Sie bei der Erstellung einer Tabelle festlegen. Wenn Iceberg-Engines aus einer partitionierten Tabelle lesen, verwenden sie die in Ihren Tabellenmetadaten definierten Partitionswerte, um relevante Daten effizient zu identifizieren.

Diese Option ist die Standardeinstellung. Mit dieser Option speichert Snowflake Ihre Parquet-Datendateien in einem vereinfachten Verzeichnis-Layout.

Um eine partitionierte Iceberg-Tabelle zu erstellen, die die versteckte Partitionierung verwendet, fügen Sie die PARTITION BY-Klausel mit einer oder mehreren Partitionstransformationen in Ihre reguläre CREATE ICEBERG TABLE-Anweisung ein.

Ein Beispiel dazu finden Sie unter Iceberg-Tabelle in einer katalogverknüpften Datenbank erstellen.

Partitionierung mit hierarchischen Pfaden¶

Mit dieser Option schreibt Snowflake Daten in partitionierte Iceberg-Tabellen, indem ein hierarchisches Pfad-Layout für Parquet-Datendateien verwendet wird. Partitionierungsinformationen sind in den Dateipfaden enthalten und die Werte basieren auf Transformationen, die Sie beim Erstellen einer Tabelle definieren. Dieses Layout wird auch als „Hive-style“-Partitionierung bezeichnet. Sie können diese Option für die Interoperabilität zwischen Snowflake und externen Engines verwenden, die partitionierte Schreibvorgänge mit hierarchischen Pfaden unterstützen.

Hier ist ein Beispiel für eine Datendatei, die unter einem hierarchischen Pfad gespeichert ist:

s3://my-bucket/iceberg/db_sales/orders/data/country=US/year=2025/month=02/day=21/part-00023.parquet

Weitere Informationen zum Layout der Daten- und Metadatenverzeichnisse von Tabellen, die hierarchische Pfade verwenden, finden Sie unter Dateiverwaltung.

Supportmatrix für die Partitionierung¶

Die folgende Tabelle zeigt, welche Features und Aktionen für jeden Typ von partitionierter Iceberg-Tabelle unterstützt werden. Sie weist auch auf Compliance mit Version 2 der Apache Iceberg-Spezifikation hin. Die Tabelle zeigt Unterstützung sowohl für die versteckte Partitionierung als auch für die Partitionierung mit hierarchischen Pfaden.

Hinweise zur Partitionierung¶

Beachten Sie Folgendes, bevor Sie partitionierte Schreibvorgänge für Iceberg-Tabellen verwenden:

• Wenn Sie eine externe Engine verwenden, um ein Partitionsfeld in einer extern verwalteten Tabelle hinzuzufügen, zu löschen oder zu ersetzen, schreibt Snowflake Daten gemäß der neuesten Partitionsspezifikation.

• Die Funktion GET_DDL enthält nicht die PARTITION BY-Klausel in ihrer Ausgabe.

• Die Summe der Ausgabengrößen für alle Partitionstransformationen darf 1.024 Bytes für eine einzelne Zeile nicht überschreiten.

• Da die Partitionsentwicklung für von Snowflake verwaltete Tabellen nicht unterstützt wird, müssen Sie die Tabelle löschen und eine neue Tabelle mit Partitionierung erstellen.

• Die Partitionstransformationsparameter DAY(), MONTH(), YEAR(), die Sie in der PARTITION BY-Klausel unter den Tabelleneigenschaften angeben, sind Teil der Iceber-Spezifikation. Bei mehreren Tagen, Monaten oder Jahren gibt der Parameter für den Partitionsausdruck eine Partition für jeden Kalendertag, –monat oder -jahr zurück. Beispiel: Wenn die DAY()-Transformation für eine Zeitstempelspalte verwendet wird, die Daten von 2 Monaten enthält, werden 61 Partitionen erstellt.

  Im Gegensatz dazu sind die Funktionen DAY(), MONTH(), YEAR() in Snowflake Teil des SQL-Standards. Bei mehreren Tagen, Monaten oder Jahren extrahieren diese Funktionen den entsprechenden Tag-, Monats- oder Jahresteil aus einem Datum oder Zeitstempel. Beispiel: Wenn die DAY()-Funktion für eine Zeitstempelspalte verwendet wird, die Daten aus mehrere Monaten enthält, gibt diese Funktion einen Tag des Monats im Bereich von 1 bis 31 zurück.

• Sie können den Befehl ALTERICEBERGTABLE nicht zum Ändern der PATH_LAYOUT-Eigenschaft für eine bestehende Tabelle verwenden.

• Für die Partitionierung mit hierarchischen Pfaden:

  • Bei float-Werten verhalten sich Snowflake und externe Engines möglicherweise unterschiedlich.

  • Snowflake kann nicht garantieren, dass die von Snowflake geschriebenen Pfade mit den von externen Abfrage-Engines geschriebenen Pfaden übereinstimmen.

    Snowflake kann dies nicht garantieren, da die Abfrage-Engine, wenn sie einen hierarchischen Pfad schreibt, Werte in eine Zeichenfolge serialisieren und den resultierenden Wert in den Pfad einfügen muss. Die Apache-Iceberg-Tabellenspezifikation definiert keine standardisierte Serialisierungsmethode, sodass verschiedene Engines unterschiedliche Implementierungen verwenden können.

    Beispielsweise wird das Zeichen ~ von Snowflake nicht kodiert, während Apache Spark™ es als %7E kodiert.

  • Snowflake schreibt die hierarchischen Pfade immer direkt unter dem Verzeichnis /data in Ihrem externen Cloudspeicher.