Speicher für Apache Iceberg™-Tabellen¶

Snowflake Zugriff auf Ihren Speicher erteilen¶

Um Snowflake Zugriff auf Ihre Speicherorte für Iceberg-Tabellen zu gewähren, verwenden Sie den Identitäts- und Zugriffsverwaltungsdienst Ihres Cloudanbieters. Sie gewähren einer Identität oder einem Prinzipal begrenzten Zugriff auf Ihren Speicher, ohne Geheimnisse auszutauschen. Dies ist das gleiche Zugriffsmodell, das Snowflake auch für andere Integrationen verwendet, einschließlich Speicherintegrationen.

Snowflake stellt einen Prinzipal für Ihr gesamtes Snowflake-Konto bereit, wenn Sie ein externes Volume erstellen. Der Prinzipal, ist je nach Cloudanbieter, wie folgt:

Snowflake authentifiziert sich direkt bei Ihrem Anbieter, und der von Snowflake bereitgestellte Prinzipal nimmt eine von Ihnen festgelegte Rolle an. Die Rolle muss die Berechtigung haben, Operationen an Ihrem Speicherort auszuführen. Snowflake kann zum Beispiel nur dann von einem Speicherort lesen, wenn die Rolle die Berechtigung hat, von diesem Speicherort zu lesen.

Snowflake benötigt die Erlaubnis, die folgenden Aktionen auf Iceberg-Tabellen auszuführen:

Jedes externe Volume ist mit einem bestimmten Aktiver Speicherort verbunden, und ein einzelnes externes Volume kann mehrere Iceberg-Tabellen unterstützen. Die Anzahl der externen Volumes, die Sie benötigen, hängt jedoch davon ab, wie Sie Ihre Tabellendaten speichern, organisieren und sichern möchten.

Sie können ein einziges externes Volume verwenden, wenn Sie die Daten und Metadaten für alle Ihre Snowflake-Iceberg-Tabellen in Unterverzeichnissen unter demselben Speicherort (z. B. im selben S3 Bucket) haben möchten. Um diese Verzeichnisse für von Snowflake verwaltete Tabellen zu konfigurieren, siehe Daten- und Metadatenverzeichnisse.

Alternativ können Sie auch mehrere externe Volumes erstellen, um verschiedene Speicherorte unterschiedlich zu sichern. Sie könnten zum Beispiel die folgenden externen Volumes erstellen:

• Ein externes Volume mit Lesezugriff für extern verwaltete Iceberg-Tabellen.

• Ein externes Volume, das mit Lese- und Schreibzugriff für von Snowflake verwaltete Tabellen konfiguriert ist

Eine vollständige Anleitung, wie Sie Snowflake Zugriff auf Ihren Speicher für Iceberg-Tabellen gewähren, finden Sie unter den folgenden Themen:

• Externes Volume für Amazon S3 konfigurieren

• Externes Volume für Google Cloud Storage konfigurieren

• Externes Volume für Azure konfigurieren

Aktiver Speicherort¶

Jedes externe Volume unterstützt einen einzigen aktiven Speicherort. Wenn Sie mehrere Speicherorte in einer CREATE EXTERNAL VOLUME-Anweisung angeben, weist Snowflake einen Speicherort als aktiven Speicherort zu. Der aktive Speicherort bleibt während der gesamten Lebensdauer des externen Volumes gleich.

Die Zuweisung erfolgt, wenn Sie das externe Volume zum ersten Mal in einer CREATE ICEBERG TABLE-Anweisung verwenden. Snowflake verwendet die folgende Logik, um einen aktiven Speicherort auszuwählen:

• Wenn die STORAGE_LOCATIONS-Liste einen oder mehrere lokale Speicherorte enthält, verwendet Snowflake den ersten lokalen Speicherort in der Liste. Ein lokaler Speicherort ist ein Speicherort bei demselben Cloudanbieter und in derselben Region wie Ihr Snowflake Konto.

• Wenn die Liste STORAGE_LOCATIONS keine lokalen Speicherorte enthält, wählt Snowflake den ersten Speicherort in der Liste aus.

Überprüfen des Speicherzugriffs¶

Um zu überprüfen, ob Snowflake sich erfolgreich bei Ihrem Speicheranbieter authentifizieren kann, rufen Sie die Funktion SYSTEM$VERIFY_EXTERNAL_VOLUME auf.

SELECT SYSTEM$VERIFY_EXTERNAL_VOLUME('my_s3_external_volume');

Für Snowflake-verwaltete Tabellen überprüft Snowflake automatisch den Zugriff auf den aktiven Speicherort auf Ihrem externen Volume in den folgenden Situationen:

• Wenn Sie das erste Mal dieses externe Volume in einer CREATE ICEBERG TABLE-Anweisung für eine von Snowflake verwaltete Tabelle angeben.

• Wenn Sie zum ersten Mal eine Tabelle konvertieren, um Snowflake als Iceberg-Katalog zu verwenden.

Die Eigenschaft ALLOW_WRITES des externen Volumes muss auf TRUE gesetzt sein.

Snowflake versucht die folgenden Speicheroperationen auszuführen, um den Speicherort zu verifizieren.

1. Schreiben einer Testdatei.

2. Lesen der Datei.

3. Auflisten des Inhalts des Dateipfads.

4. Löschen der Datei.

Wenn eine der Operationen fehlschlägt, schlägt die Anweisung CREATE ICEBERG TABLE (oder ALTER ICEBERG TABLE … CONVERT TO MANAGED) fehl und Sie erhalten eine Fehlermeldung.

Dateiverwaltung¶

In diesem Abschnitt wird erklärt, wie die Verwaltung von Iceberg-Tabellendateien im Speicher je nach Typ der Iceberg-Tabelle funktioniert.

CREATE OR REPLACE ICEBERG TABLE iceberg_table_1 (
  col_1 int,
  col_2 string
)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'iceberg_external_volume'
  BASE_LOCATION = 'iceberg_table_1';

CREATE OR REPLACE ICEBERG TABLE iceberg_table_2 (
  col_1 int,
  col_2 string
)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'iceberg_external_volume'
  BASE_LOCATION = 'iceberg_table_2';

STORAGE_BASE_URL
|-- iceberg_table_1
|   |-- data/
|   |-- metadata/
|-- iceberg_table_2
|   |-- data/
|   |-- metadata/

Aktivieren von Speicherzugriffsprotokollen¶

Um Probleme zu diagnostizieren und den Zugriff auf die mit einem externen Volume verbundenen Speicherorte zu prüfen, können Sie die Speicherprotokollierung aktivieren. Speicherprotokolle helfen Ihnen, die Ursache für fehlende oder beschädigte Dateien zu ermitteln.

Aktivieren Sie die Protokollierung bei Ihrem Anbieter. Da Sie den Speicher für die Iceberg-Tabellen besitzen und verwalten, kann Snowflake keine Protokollierung oder Prüfung für Ihre Iceberg-Speicherorte aktivieren.

Weitere Informationen zu den Speicherzugriffsprotokollen Ihres Anbieters finden Sie unter folgenden externen Themen:

• Protokollierungsoptionen für Amazon S3

• Nutzungsprotokolle und Speicherprotokolle für Google Cloud Storage

• Azure Storage Analyse-Protokollierung

Schutz von Dateien durch Versionierung und Speicherung von Objekten¶

Wenn sich Ihre Iceberg-Tabellendaten in einem zentralen Daten-Repository (oder Data Lake) befinden, der von mehreren Tools und Diensten genutzt wird, kann es zu einer versehentlichen Löschung oder Beschädigung kommen. Um die Daten von Iceberg-Tabellen zu schützen und die Wiederherstellung versehentlich gelöschter oder überschriebener Daten sicherzustellen, verwenden Sie die von Ihrem Anbieter angebotenen Optionen zur Verwaltung des Speicherlebenszyklus und zur Versionierung.

Mit der Lebenszyklusverwaltung können Sie Aufbewahrungs- und Verfolgungsregeln für Speicherobjekte festlegen. Wenn Sie mehr über das Lifecycle Management Ihres Anbieters erfahren möchten, lesen Sie die folgenden externen Themen:

• Verwalten des Lebenszyklus Ihres Speichers für Amazon S3

• Object Lifecycle Management für Google Cloud Storage

• Richtlinien zur Lebenszyklusverwaltung in Azure

Um die Wiederherstellung von Objekten zu unterstützen, können Sie auch die Versionierung für Ihren externen Cloudspeicher aktivieren.

• Weitere Informationen zum Aktivieren der Versionierung für Amazon S3 finden Sie unter Aktivieren der Versionierung für Buckets.

• Weitere Informationen zum Aktivieren der Versionierung für Google Cloud Storage finden Sie unter Objektversionierung verwenden.

• Weitere Informationen zum Aktivieren der Versionierung für Azure finden Sie unter Blob-Versionierung aktivieren.

Verschlüsseln von Tabellendateien¶

Snowflake kann Iceberg-Tabellendateien im Speicher lesen, die Sie mit gängigen serverseitigen Verschlüsselungsverfahren (Server-Side Encryption, SSE) verschlüsseln. Sie sollten Ihren Clouddienstanbieter mit der Verwaltung von Verschlüsselungsschlüsseln beauftragen und dem Snowflake-Prinzipal Zugriff auf Ihre Schlüssel gewähren, wenn Sie einen vom Kunden verwalteten Schlüssel nutzen.

Für Amazon S3 unterstützt Snowflake die folgenden SSE-Optionen:

Für Google Cloud Storage unterstützt Snowflake die folgende SSE-Option: