Konfigurieren eines externen Volumes für Iceberg-Tabellen¶

Schritt 1: Zugriffsberechtigungen für den S3-Bucket konfigurieren¶

Schritt 2: IAM-Rolle in AWS erstellen¶

Erstellen Sie über die AWS Management Console eine AWS-IAM-Rolle, um Berechtigungen für den S3-Bucket mit Ihren Datendateien zu vergeben.

1. Melden Sie sich bei der AWS Management Console an.

2. Wählen Sie im Startseiten-Dashboard die Option Identity & Access Management (IAM) aus:

   

3. Wählen Sie im linken Navigationsbereich Roles aus.

4. Wählen Sie Create role aus.

   

5. Wählen Sie für den Typ der vertrauenswürdigen Entität Another AWS account.

6. Geben Sie im Feld Account ID Ihre eigene AWS-Konto-ID ein. In einem späteren Schritt ändern Sie die Vertrauensstellung und gewähren Snowflake Zugriff.

7. Wählen Sie die Option Require external ID aus. Geben Sie eine Platzhalter-ID ein, z. B. 0000. In einem späteren Schritt ändern Sie die Vertrauensstellung und geben die externe ID für Ihr externes Volume an. Eine externe ID ist erforderlich, um einer dritten Partei wie Snowflake Zugriff auf Ihre AWS-Ressourcen (wie S3-Buckets) zu gewähren.

8. Wählen Sie Next aus.

9. Suchen Sie die Richtlinie, die Sie in Schritt 1: Zugriffsberechtigungen für den S3-Bucket konfigurieren erstellt haben, und wählen Sie diese Richtlinie aus.

10. Wählen Sie Next aus.

    

11. Geben Sie einen Namen und eine Beschreibung für die Rolle ein, und wählen Sie Create role aus. Sie haben nun eine IAM-Richtlinie für einen Bucket erstellt, eine IAM-Rolle erstellt und die Richtlinie an die Rolle angehängt.

12. Notieren Sie den Wert von Role ARN, der auf der Übersichtsseite der Rolle angegeben ist. Sie verwenden diesen Wert im nächsten Schritt, um ein externes Snowflake-Volume zu erstellen, das auf diese Rolle verweist.

    

Schritt 3: Der IAM-Rolle die erforderliche Berechtigungen für die SSE-KMS-Verschlüsselung zuweisen (optional)¶

Um ein mit einem AWS KMS-Schlüssel verschlüsseltes Objekt auf Amazon S3 hochzuladen, benötigt die IAM-Rolle, die Sie in Schritt 2: IAM-Rolle in AWS erstellen erstellt haben, kms:GenerateDataKey-Berechtigungen für den Schlüssel. Um ein mit einem AWS KMS-Schlüssel verschlüsseltes Objekt herunterzuladen, benötigt die IAM-Rolle die Berechtigung kms:Decrypt für den Schlüssel.

Wenn Sie einen KMS-Schlüssel für Ihre serverseitige Verschlüsselung verwenden möchten, führen Sie die folgenden Schritte aus, um einen Schlüssel zu erstellen und ihn zu referenzieren.

1. Wechseln Sie in der AWS-Managementkonsole zum KMS-Dienst. Wählen Sie in der linken Navigation die Option Customer managed keys und dann die Option Create key aus. Sie müssen einen Schlüssel in der gleichen Region erstellen, in der sich Ihr Bucket befindet.

2. Erstellen Sie einen symmetrischen Schlüsseltyp. Wählen Sie für die Schlüsselverwendung die Option Encrypt and decrypt aus. Wählen Sie Next aus.

3. Geben Sie im Feld Alias einen Namen für den Schlüssel ein, und wählen Sie Next aus.

4. Geben Sie bei Bedarf einen Administrator für den Schlüssel an, und wählen Sie Next aus.

5. Geben Sie im Schritt Define key usage permissions den Namen Ihrer IAM-Rolle ein. Aktivieren Sie das Kontrollkästchen neben der Rolle, und wählen Sie dann Next aus.

6. Wählen Sie Finish aus, um den Schlüssel zu erstellen.

7. Suchen Sie den Schlüssel in der Liste der vom Kunden verwalteten Schlüssel, wählen Sie ihn aus, und notieren Sie seinen ARN. Ein ARN für einen Schlüssel wäre beispielsweise: arn:aws:kms:us-west-2:111111122222:key/1a1a11aa-aa1a-aaa1a-a1a1-000000000000.

   Wenn Sie Ihr externes Volume erstellen, setzen Sie den Wert KMS_KEY_ID auf den ARN Ihres Schlüssels.

Schritt 4: Externes Volume in Snowflake erstellen¶

Erstellen Sie mit dem Befehl CREATE EXTERNAL VOLUME ein externes Volume.

Im folgenden Beispiel wird ein externes Volume erstellt, das einen Amazon S3-Speicherort mit Verschlüsselung definiert:

CREATE OR REPLACE EXTERNAL VOLUME exvol
   STORAGE_LOCATIONS =
      (
         (
            NAME = 'my-s3-us-west-2'
            STORAGE_PROVIDER = 'S3'
            STORAGE_BASE_URL = 's3://MY_EXAMPLE_BUCKET/'
            STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::123456789012:role/myrole'
            ENCRYPTION=(TYPE='AWS_SSE_KMS' KMS_KEY_ID='arn:aws:kms:us-west-2:111111122222:key/1a1a11aa-aa1a-aaa1a-a1a1-000000000000')
         )
      );

Schritt 5: AWS-IAM-Benutzer für Ihr Snowflake-Konto abrufen¶

1. Um den ARN für den AWS-IAM-Benutzer abzurufen, der für Ihr Snowflake-Konto automatisch erstellt wurde, verwenden Sie den Befehl DESCRIBE EXTERNAL VOLUME. Geben Sie den Namen des externen Volumes an, das Sie zuvor erstellt haben.

   Beispiel:

   DESC EXTERNAL VOLUME exvol;
   

   Copy

2. Notieren Sie sich die Werte der folgenden Eigenschaften:

   Eigenschaft	Beschreibung
   STORAGE_AWS_IAM_USER_ARN	Der AWS-IAM-Benutzer, der für Ihr Snowflake-Konto erstellt wurde, in diesem Beispiel arn:aws:iam::123456789001:user/abc1-b-self1234. Snowflake stellt genau einen IAM-Benutzer für Ihr gesamtes Snowflake-Konto bereit. Dieser IAM-Benutzer wird von allen externen S3-Volumes in Ihrem Konto verwendet.
   STORAGE_AWS_EXTERNAL_ID	Die externe ID, die zum Einrichten einer Vertrauensstellung erforderlich ist.

   Sie geben diese Werte im nächsten Schritt an.

Schritt 6: IAM-Benutzerberechtigungen für den Zugriff auf Bucket-Objekte erteilen¶

In diesem Schritt konfigurieren Sie Berechtigungen, die dem IAM-Benutzer Ihres Snowflake-Kontos den Zugriff auf Objekte in Ihrem S3-Bucket ermöglichen.

1. Melden Sie sich bei der AWS Management Console an.

2. Wählen Sie Identity & Access Management (IAM) aus.

   

3. Wählen Sie im linken Navigationsbereich Roles aus.

4. Wählen Sie die Rolle aus, die Sie in Schritt 2: IAM-Rolle in AWS erstellen erstellt haben.

5. Wählen Sie die Registerkarte Trust relationships aus.

6. Wählen Sie Edit trust relationship aus.

7. Ändern Sie das Richtliniendokument mit den Ausgabewerten, die Sie in Schritt 5: AWS-IAM-Benutzer für Ihr Snowflake-Konto abrufen notiert haben:

   Richtliniendokument für die IAM-Rolle

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "",
         "Effect": "Allow",
         "Principal": {
           "AWS": "<snowflake_user_arn>"
         },
         "Action": "sts:AssumeRole",
         "Condition": {
           "StringEquals": {
             "sts:ExternalId": "<snowflake_external_id>"
           }
         }
       }
     ]
   }
   

   Copy

   Wobei:

   • snowflake_user_arn ist der von Ihnen notierte STORAGE_AWS_IAM_USER_ARN-Wert.

   • snowflake_external_id ist der von Ihnen notierte STORAGE_AWS_EXTERNAL_ID-Wert.

   Bemerkung

   Sie müssen dieses Richtliniendokument aktualisieren, wenn Sie ein neues externes Volume erstellen (oder ein vorhandenes externes Volume mit der CREATE OR REPLACE EXTERNAL VOLUME-Syntax neu erstellen). Aus Sicherheitsgründen hat ein neues oder neu erstelltes externes Volume eine andere externe ID und kann die Vertrauensstellung nur auflösen, wenn Sie diese Vertrauensrichtlinie aktualisieren.

8. Wählen Sie Update Trust Policy aus. Die Änderungen werden gespeichert.

Schritt 1: Externes Volume in Snowflake erstellen¶

Erstellen Sie mit dem Befehl CREATE EXTERNAL VOLUME ein externes Volume.

Im folgenden Beispiel wird ein externes Volume erstellt, das einen GCS-Speicherort mit Verschlüsselung definiert:

CREATE EXTERNAL VOLUME exvol
  STORAGE_LOCATIONS =
    (
      (
        NAME = 'my-us-east-1'
        STORAGE_PROVIDER = 'GCS'
        STORAGE_BASE_URL = 'gcs://mybucket1/path1/'
        ENCRYPTION=(TYPE='GCS_SSE_KMS' KMS_KEY_ID = '1234abcd-12ab-34cd-56ef-1234567890ab')
      )
    );

Schritt 2: Cloud Storage-Dienstkonto für Ihr Snowflake-Konto abrufen¶

Um die ID für das Cloud Storage-Dienstkonto abzurufen, die für Ihr Snowflake-Konto automatisch erstellt wurde, verwenden Sie den Befehl DESCRIBE EXTERNAL VOLUME. Geben Sie den Namen des externen Volumes an, das Sie zuvor erstellt haben.

Beispiel:

DESC EXTERNAL VOLUME exvol;

Copy

Notieren Sie sich den Wert der Eigenschaft STORAGE_GCP_SERVICE_ACCOUNT in der Ausgabe (z. B. service-account-id@project1-123456.iam.gserviceaccount.com).

Snowflake stellt genau ein Cloud Storage-Dienstkonto für Ihr gesamtes Snowflake-Konto bereit. Alle externen Google Cloud Storage-Volumes verwenden dieses Dienstkonto.

Schritt 3: Dienstkontoberechtigungen für den Zugriff auf Bucket-Objekte erteilen¶

In diesem Schritt konfigurieren Sie IAM-Zugriffsberechtigungen für Snowflake in Ihrer Google Cloud Platform Console.

Schritt 1: Externes Volume in Snowflake erstellen¶

Erstellen Sie mit dem Befehl CREATE EXTERNAL VOLUME ein externes Volume.

Im folgenden Beispiel wird ein externes Volume erstellt, das einen Azure-Speicherort mit Verschlüsselung definiert:

CREATE EXTERNAL VOLUME exvol
  STORAGE_LOCATIONS =
    (
      (
        NAME = 'my-azure-northeurope'
        STORAGE_PROVIDER = 'AZURE'
        STORAGE_BASE_URL = 'azure://exampleacct.blob.core.windows.net/my_container_northeurope/'
        AZURE_TENANT_ID = 'a123b4c5-1234-123a-a12b-1a23b45678c9'
      )
    );

Schritt 2: Snowflake Zugriff auf den Speicherort gewähren¶

1. Verwenden Sie den Befehl DESCRIBE EXTERNAL VOLUME, um eine URL abzurufen, die auf die Seite der Microsoft-Berechtigungsanforderung führt. Geben Sie den Namen des externen Volumes an, das Sie zuvor erstellt haben.

   DESC EXTERNAL VOLUME exvol;
   

   Copy

   Notieren Sie sich die Werte der folgenden Eigenschaften:

   Eigenschaft	Beschreibung
   AZURE_CONSENT_URL	URL der Microsoft-Berechtigungsanforderungsseite.
   AZURE_MULTI_TENANT_APP_NAME	Name der Snowflake-Clientanwendung, die für Ihr Konto erstellt wurde. In einem späteren Schritt in dieser Anleitung müssen Sie dieser Anwendung die Berechtigung erteilen, ein Zugriffstoken für Ihren zulässigen Speicherort zu erhalten.

   Sie verwenden diese Werte in den folgenden Schritten.

2. Rufen Sie in einem Webbrowser die Seite der Microsoft-Berechtigungsanforderung auf (die AZURE_CONSENT_URL).

3. Wählen Sie Accept aus. Mit dieser Aktion kann der Azure-Dienstprinzipal, der für Ihr Snowflake-Konto erstellt wurde, ein Zugriffstoken für eine beliebige Ressource in Ihrem Mandantenbereich erhalten. Das Abrufen eines Zugriffstokens ist nur erfolgreich, wenn Sie dem Dienstprinzipal die entsprechenden Berechtigungen für den Container erteilen (siehe nächster Schritt).

   Die Microsoft-Berechtigungsanforderungsseite leitet auf die Snowflake-Firmenwebsite (snowflake.com) um.

4. Melden Sie sich beim Microsoft Azure-Portal an.

5. Rufen Sie Azure Services » Storage Accounts auf. Wählen Sie den Namen des Speicherkontos aus, auf das Sie dem Snowflake-Dienstprinzipal Zugriff gewähren möchten.

   Bemerkung

   Sie müssen die IAM-Berechtigungen für ein externes Volume auf der Ebene des Speicherkontos festlegen, nicht auf der Ebene des Containers.

6. Wählen Sie Access Control (IAM) » Add role assignment aus.

7. Wählen Sie die Rolle Storage Blob Data Contributor aus, um Lese- und Schreibzugriff auf den Snowflake-Dienstprinzipal zu gewähren.

   Bemerkung

   Die Rolle Storage Blob Data Contributor gewährt Schreibzugriff auf den Speicherort des externen Volumes. Um den Schreibzugriff vollständig zu konfigurieren, muss der Parameter ALLOW_WRITES des externen Volumes auf TRUE (den Standardwert) gesetzt werden.

8. Suchen Sie nach dem Snowflake-Dienstprinzipal. Dies ist die Identität in der Eigenschaft AZURE_MULTI_TENANT_APP_NAME der Ausgabe von DESC EXTERNAL VOLUME (in Schritt 1). Suchen Sie in der Eigenschaft AZURE_MULTI_TENANT_APP_NAME nach der Zeichenfolge vor dem Unterstrich.

   Wichtig

   • Es kann eine Stunde oder länger dauern, bis Azure den über die oben genannte Microsoft-Anforderungsseite angeforderten Snowflake-Dienstprinzipal erstellt hat. Wenn der Dienstprinzipal nicht sofort verfügbar ist, müssen Sie ein bis zwei Stunden warten und ihn dann erneut suchen.

   • Wenn Sie den Dienstprinzipal löschen, funktioniert das externe Volume nicht mehr.

   

9. Wählen Sie Review + assign aus.

   Bemerkung

   Beim Zuweisen einer Rolle kann es bis zu 10 Minuten dauern, bis die Änderungen wirksam werden. Weitere Informationen dazu finden Sie in der Microsoft Azure-Dokumentation unter Symptom: Änderungen bei der Rollenzuweisung werden nicht erkannt.