Apache Iceberg™-Tabellen¶

Erste Schritte¶

Um mit der Verwendung von Iceberg-Tabellen zu beginnen, lesen Sie die Informationen unter Tutorial: Ihre erste Apache Iceberg™-Tabelle erstellen.

Wie es funktioniert¶

Dieser Abschnitt enthält spezielle Informationen zur Verwendung von Iceberg-Tabellen in Snowflake. Um mehr über die Spezifikation des Iceberg-Tabellenformats zu erfahren, lesen Sie die offizielle Apache Iceberg-Dokumentation und die Iceberg Table Spec.

• Datenspeicher

• Katalog

• Metadaten und Snapshots

• Cloud-/regionsübergreifende Unterstützung

• Rechnungsstellung

Katalogoptionen¶

Snowflake unterstützt die folgenden Iceberg-Katalogoptionen:

• Snowflake als Iceberg-Katalog verwenden

• Verwenden Sie einen externen Iceberg-Katalog

In der folgenden Tabelle sind die Unterschiede zwischen diesen Katalogoptionen zusammengefasst.

Snowflake als Katalog verwenden¶

Eine Iceberg-Tabelle, die Snowflake als Iceberg-Katalog verwendet (Snowflake-verwaltete Iceberg-Tabelle), bietet volle Snowflake-Plattformunterstützung mit Lese- und Schreibzugriff. Die Tabellendaten und die Metadaten werden in einem externen Cloudspeicher gespeichert, auf den Snowflake über ein externes Volume zugreift. Snowflake übernimmt die gesamte Lebenszykluswartung der Tabelle, wie z. B. die Komprimierung.

Externen Katalog verwenden¶

Eine Iceberg-Tabelle, die eine Katalogintegration verwendet, bietet eingeschränkte Snowflake-Plattformunterstützung mit Nur-Lese-Zugriff. Bei diesem Tabellentyp verwendet Snowflake die Katalogintegration, um Informationen zu Ihren Iceberg-Metadaten und Ihrem Iceberg-Schema abzurufen.

Mit dieser Option können Sie eine Iceberg-Tabelle für die folgenden Quellen erstellen:

• AWS Glue-Datenkatalog

• Iceberg-Metadatendateien in Objektspeichern

• Delta-Tabellendateien in Objektspeichern

• Open Catalog

• Remote-Iceberg-REST-Katalog

Snowflake übernimmt keine Lebenszyklusverwaltung für die Tabelle.

Die Tabellendaten und die Metadaten werden in einem externen Cloudspeicher gespeichert, auf den Snowflake über ein externes Volume zugreift.

Bemerkung

Wenn Sie die volle Unterstützung der Snowflake-Plattform für eine Iceberg-Tabelle wünschen, die einen externen Katalog verwendet, können Sie sie so konvertieren, dass Snowflake als Katalog verwendet wird. Weitere Informationen dazu finden Sie unter Apache Iceberg™-Tabelle konvertieren, um Snowflake als Katalog zu verwenden.

Die folgende Abbildung zeigt, wie eine Iceberg-Tabelle eine Katalogintegration mit einem externen Iceberg-Katalog verwendet.

Hinweise und Einschränkungen¶

Die folgenden Hinweise und Einschränkungen gelten für Iceberg-Tabellen; Änderungen vorbehalten:

Clouds und Regionen

• Iceberg-Tabellen sind für alle Snowflake-Konten, auf allen Cloud-Plattformen und in allen Regionen verfügbar.

• Cloud-/regionsübergreifende Tabellen werden unterstützt. Weitere Informationen dazu finden Sie unter Cloud-/regionsübergreifende Unterstützung.

Iceberg

• Version 1 und 2 der Apache-Iceberg-Spezifikation werden unterstützt, mit Ausnahme der folgenden Features:

  • Löschungen auf Zeilenebene (entweder Positionslöschungen oder Gleichheitslöschungen) Allerdings unterstützen Tabellen, die Snowflake als Katalog verwenden, Snowflake DELETE-Anweisungen.

  • Verwendung der history.expire.min-snapshots-to-keep-Tabelleneigenschaft zur Angabe der standardmäßigen Mindestanzahl der aufzubewahrenden Snapshots. Weitere Informationen dazu finden Sie unter Metadaten und Snapshots.

• Die Iceberg-Partitionierung mit der Transformationsfunktion bucket wirkt sich auf die Leistung von Abfragen aus, die bedingte Klauseln zum Filtern von Ergebnissen verwenden.

• Bei Iceberg-Tabellen, die nicht von Snowflake verwaltet werden, sollten Sie Folgendes beachten:

  • Time Travel wird für jeden Snapshot unterstützt, der nach der Tabellenerstellung generiert wurde, solange Sie die Tabelle regelmäßig und vor Ablaufen des Snapshots aktualisieren.

  • Das Konvertieren einer Tabelle, die eine nicht materialisierte Identitätspartitionsspalte enthält, wird nicht unterstützt. Eine nicht materialisierte Identitätspartitionsspalte wird erstellt, wenn eine Tabelle eine Identitätstransformation unter Verwendung einer Quellspalte definiert, die nicht in einer Parquet-Datei existiert.

  • Für Löschen auf Zeilenebene:

    • Snowflake unterstützt nur das Löschen von Positionen.

    • Um die beste Leseleistung zu erzielen, wenn Sie Löschungen auf Zeilenebene verwenden, führen Sie regelmäßig eine Verdichtung und Tabellenpflege durch, um alte Löschdateien zu entfernen. Weitere Informationen dazu finden Sie unter Tabellen warten, die einen externen Katalog verwenden.

    • Die folgenden Features werden derzeit nicht unterstützt, wenn Sie Löschungen auf Zeilenebene verwenden:

      • Automatische Aktualisierung

      • Erstellung von materialisierten Ansichten, Suchoptimierung oder Streams auf dynamischen Tabellen, dynamischen Iceberg-Tabellen oder Iceberg-Tabellen mit vorhandenen Positionslöschungen.

      • Dynamische Tabellen

      • Aktualisierung des Iceberg-Snapshots mit Positionslöschungen auf dynamischen Tabellen, dynamischen Iceberg-Tabellen oder Iceberg-Tabellen mit entweder aktiven oder gelöschten materialisierten Ansichten, Suchoptimierung oder Streams.

      • Suchoptimierung

      • Streams

Dateiformate

• Iceberg-Tabellen unterstützen Apache Parquet-Dateien.

• Parquet-Dateien, die den logischen Typ der vorzeichenlosen Ganzzahl verwenden, werden nicht unterstützt.

• Bei Parquet-Dateien, die den logischen Typ LIST verwenden, sollten Sie Folgendes beachten:

  • Die dreistufige Anmerkungsstruktur mit dem Schlüsselwort element wird unterstützt. Weitere Informationen dazu finden Sie unter Definitionen für logische Parquet-Typen. Wenn Ihre Parquet-Datei ein veraltetes Format mit dem Schlüsselwort array verwendet, müssen Sie Ihre Daten auf der Grundlage des unterstützten Formats neu generieren.

Externe Volumes

• Sie können nicht über eine Speicherintegration auf die Cloudspeicherorte in externen Volumes zugreifen.

• Sie müssen für jedes externe Volume, das Sie erstellen, eine separat eine Vertrauensstellung konfigurieren.

• Sie können ausgehende private Konnektivität verwenden, um auf von Snowflake verwaltete Iceberg-Tabellen und Iceberg-Tabellen zuzugreifen, die eine Katalogintegration für die Objektspeicherung verwenden, aber nicht, um auf Iceberg-Tabellen zuzugreifen, die andere Katalogintegrationen verwenden.

• Nachdem Sie eine von Snowflake verwaltete Tabelle erstellt haben, ändert sich der Pfad zu ihren Dateien im externen Speicher nicht, selbst wenn Sie die Tabelle umbenennen.

• Snowflake unterstützt keine externen Volumes mit S3-Bucket-Namen, die Punkte enthalten (z. B. my.s3.bucket). S3 unterstützt SSL nicht für Buckets im „virtual-hosted-style“-Format mit Punkten im Namen, und Snowflake verwendet Pfade im „virtual-hosted-style“-Format und HTTPS für den Zugriff auf Daten in S3.

Metadatendateien

• Die Metadatendateien identifizieren nicht den jüngsten Snapshot einer Iceberg-Tabelle.

• Sie können den Speicherort der Datendateien oder des Snapshots nicht mit dem Befehl ALTER ICEBERG TABLE ändern. Um eine dieser Einstellungen zu ändern, müssen Sie die Tabelle neu erstellen (unter Verwendung der Syntax CREATE OR REPLACE ICEBERG TABLE).

• Für Tabellen, die einen externen Katalog verwenden:

  • Stellen Sie sicher, dass die Manifestdateien keine Duplikate enthalten. Wenn doppelte Dateien im gleichen Snapshot vorhanden sind, gibt Snowflake einen Fehler zurück, der den Pfad der doppelten Datei enthält.

  • Sie können keine Tabelle erstellen, wenn die Parquet Metadaten ungültige UTF-8-Zeichen enthalten. Stellen Sie sicher, dass Ihre Parquet Metadaten mit UTF-8 übereinstimmen.

• Snowflake erkennt Beschädigungen und Inkonsistenzen in Parquet-Metadaten, die außerhalb von Snowflake erzeugt wurden, und zeigt Probleme durch Fehlermeldungen an.

  Es ist möglich, extern verwaltete (oder konvertierte) Tabellen zu erstellen, zu aktualisieren oder abzufragen, selbst wenn die Metadaten der Tabelle inkonsistent sind. Stellen Sie beim Schreiben von Iceberg-Daten sicher, dass die Metadaten-Statistiken der Tabelle (z. B. RowCount oder NullCount) mit dem Dateninhalt übereinstimmen.

• Bei Tabellen, die Snowflake als Katalog verwenden, verarbeitet Snowflake DDL-Anweisungen einzeln und erzeugt Metadaten auf eine Weise, die sich von anderen Katalogen unterscheiden kann. Weitere Informationen dazu finden Sie unter DDL-Anweisungen.

Clustering

Die Unterstützung für Clustering hängt vom Typ der Iceberg-Tabelle ab.

Tabellentyp	Anmerkungen
Tabellen, die Snowflake als Iceberg-Katalog verwenden	Legen Sie einen Gruppierungsschlüssel fest, indem Sie entweder den Befehl CREATE ICEBERG TABLE oder den Befehl ALTER ICEBERG TABLE verwenden. Weitere Informationen zum Festlegen oder Verwalten eines Gruppierungsschlüssels finden Sie unter CREATE ICEBERG TABLE (Snowflake als Iceberg-Katalog) und ALTER ICEBERG TABLE.
Tabellen, die einen externen Katalog verwenden	Clustering wird nicht unterstützt.
Konvertierte Tabellen	Snowflake clustert Dateien nur, wenn sie nach der Konvertierung der Tabelle erstellt wurden oder wenn die Dateien seitdem mit einer DML-Anweisung geändert wurden.

Delta

• Snowflake unterstützt Delta Reader Version 2 und kann alle Tabellen lesen, die von Engines mit Delta Lake Version 2.2.0 geschrieben wurden.

• Snowflake-Streams werden für Iceberg-Tabellen, die aus Delta-Tabellen-Dateien mit Partitionsspalten erstellt wurden, nicht unterstützt. Allerdings werden Nur-Einfügen-Streams für Tabellen, die aus Delta-Dateien ohne Partitionsspalten erstellt wurden, unterstützt.

• Dynamische Tabellen werden bei Iceberg-Tabellen, die aus Delta-Tabellendateien erstellt wurden, nicht unterstützt.

• Snowflake unterstützt die Erstellung von Iceberg-Tabellen aus Delta-Tabellendefinitionen im AWS Glue Data-Katalog nicht.

• Parquet-Dateien (Datendateien für Delta-Tabellen), die eines der folgenden Features oder Datentypen verwenden, werden nicht unterstützt:

  • Feld-IDs

  • Der Datentyp INTERVAL.

  • Der Datentyp DECIMAL mit einer Präzision von mehr als 38.

  • LIST oder MAP-Typen mit ein- oder zweistufiger Darstellung.

  • Ganzzahl-Typen ohne Vorzeichen (INT(vorzeichenbehaftet = falsch)).

  • Der Datentyp FLOAT16.

• Sie können den physischen Parquet-Typ int96 für TIMESTAMP verwenden, aber Snowflake unterstützt int96 nicht für TIMESTAMP_NTZ.

• Weitere Informationen zu Delta-Datentypen und Iceberg-Tabellen finden Sie unter Delta-Datentypen.

• Snowflake verarbeitet maximal 1000 Delta-Commit-Dateien, wenn Sie eine Tabelle mit CREATE/ALTER … REFRESH aktualisieren. Wenn Ihre Tabelle mehr als 1000 Commit-Dateien enthält, können Sie zusätzliche manuelle Aktualisierungen vornehmen. Der Aktualisierungsvorgang wird jedes Mal an der Stelle fortgesetzt, an der der vorherige Vorgang beendet wurde.

  Bemerkung

  Snowflake verwendet bei der Erstellung einer Iceberg-Tabelle Delta-Checkpoint-Dateien. Die Beschränkung auf 1.000 Commit-Dateien gilt nur für Commits nach dem letzten Prüfpunkt.

  Wenn Sie eine bestehende Tabelle aktualisieren, verarbeitet Snowflake Delta-Commit-Dateien, aber keine Checkpoint-Dateien. Wenn die Tabellenwartung veraltete Protokoll- und Datendateien für die Delta-Quelltabelle entfernt, sollten Sie Delta-basierte Iceberg-Tabellen in Snowflake häufiger aktualisieren als für die Aufbewahrungsfrist der Delta-Protokolle und -Datendateien vorgesehen.

• Die folgenden Funktionen von Delta Lake werden derzeit nicht unterstützt: Zeilenverfolgung, Löschvektordateien, Ändern von Datendateien, Ändern von Metadaten, DataChange, CDC, Protokollentwicklung.

Automatische Aktualisierung

• Wenn die automatische Aktualisierung aktiviert ist, können Sie die Tabellenmetadaten nicht manuell aktualisieren. Um eine manuelle Aktualisierung durchzuführen, schalten Sie zunächst die automatische Aktualisierung aus.

• Für Katalogintegrationen, die vor Snowflake Version 8.22 (oder 9.2 für Delta-basierte Tabellen) erstellt wurden, müssen Sie den Parameter REFRESH_INTERVAL_SECONDS manuell setzen, bevor Sie die automatische Aktualisierung von Tabellen aktivieren, die von dieser Katalogintegration abhängen. Anweisungen dazu finden Sie unter ALTER CATALOG INTEGRATION … SET AUTO_REFRESH.

• Wenn Ihre Tabelle leer ist, fügen Sie Daten in die Tabelle ein und führen dann eine manuelle Aktualisierung in Snowflake durch, bevor Sie die automatische Aktualisierung aktivieren, um undefinierte Verhaltensweise zu vermeiden.

• Für Katalogintegrationen für Objektspeicher wird die automatische Aktualisierung nur für Integrationen mit TABLE_FORMAT = DELTA unterstützt.

• Bei Tabellen mit häufigen Aktualisierungen kann die Verwendung eines kürzeren Abfrageintervalls (REFRESH_INTERVAL_SECONDS) zu einer Leistungsverschlechterung führen.

Zugriff von Drittkunden auf Iceberg-Daten, Metadaten

• Clients von Drittanbietern können keine Daten an Iceberg-Tabellen anhängen, in Iceberg-Tabellen löschen oder Daten per Upsert einfügen, wenn die Iceberg-Tabellen Snowflake als Katalog verwenden.

Nicht unterstützte Features

Die folgenden Snowflake-Features werden derzeit nicht für alle Iceberg Tabellen unterstützt:

• Sortierung

• Fail-safe

• Hybridtabellen

• Freigabeangebote, die Cloud-übergreifende automatische Ausführung ermöglichen.

• Query Acceleration Service

• Replikation von Iceberg-Tabellen, externen Volumes oder Katalogintegrationen

• Snowflake-Verschlüsselung

• Snowflake Native App Framework

• Snowflake-Schemaentwicklung.

• Tagging mit der gespeicherten Prozedur ASSOCIATE_SEMANTIC_CATEGORY_TAGS

• Temporäre und transiente Tabellen

Die folgenden Features werden für Iceberg-Tabellen, die einen externen Katalog verwenden, nicht unterstützt:

• Klonen

• Clustering

• Standard- und reine Nur-Anfügen-Streams Nur Nur-Einfügen-Streams werden unterstützt.