Option 1: Konfigurieren einer Snowflake-Speicherintegration für Zugriff auf Amazon S3¶

Schritt 1: Zugriffsberechtigungen für den S3-Bucket konfigurieren¶

Schritt 2: IAM-Rolle in AWS erstellen¶

Erstellen Sie über die AWS Management Console eine AWS-IAM-Rolle, um Berechtigungen für den S3-Bucket mit Ihren Datendateien zu vergeben.

1. Melden Sie sich bei der AWS Management Console an.

2. Wählen Sie auf dem Startseiten-Dashboard die Option Identity & Access Management (IAM) aus:

   

3. Wählen Sie im linken Navigationsbereich Roles aus.

4. Klicken Sie auf die Schaltfläche Create role.

   

5. Wählen Sie Another AWS account als vertrauenswürdigen Entitätstyp aus.

6. Geben Sie vorläufig im Feld Account ID Ihre eigene AWS-Konto-ID ein. Später werden Sie die vertrauenswürdige Beziehung ändern und Snowflake Zugriff gewähren.

7. Wählen Sie die Option Require external ID aus. Geben Sie eine Dummy-ID ein, wie z. B. 0000. Später werden Sie die vertrauenswürdige Beziehung ändern und die externe ID für Ihren Snowflake-Stagingbereich angeben. Eine externe ID ist erforderlich, um einem Dritten (d. h. Snowflake) Zugriff auf Ihre AWS-Ressourcen (d. h. S3) zu gewähren.

8. Klicken Sie auf die Schaltfläche Next.

9. Suchen Sie die Richtlinie, die Sie in Schritt 1: Zugriffsberechtigungen für den S3-Bucket konfigurieren (unter diesem Thema) erstellt haben, und wählen Sie diese Richtlinie aus.

10. Klicken Sie auf die Schaltfläche Next.

    

11. Geben Sie einen Namen und eine Beschreibung für die Rolle ein, und klicken Sie auf die Schaltfläche Create role.

    Sie haben nun eine IAM-Richtlinie für einen Bucket erstellt, eine IAM-Rolle erstellt und die Richtlinie an die Rolle angehängt.

12. Notieren Sie den Role ARN-Wert, der auf der Übersichtsseite der Rolle angegeben ist. Im nächsten Schritt erstellen Sie eine Snowflake-Integration, die auf diese Rolle verweist.

    

Schritt 3: Cloud Storage-Integration in Snowflake erstellen¶

Erstellen Sie mit dem Befehl CREATE STORAGE INTEGRATION eine Speicherintegration. Eine Speicherintegration ist ein Snowflake-Objekt, in dem ein für Ihren S3-Cloudspeicher generierter IAM-Benutzer (Identitäts- und Zugriffsverwaltung) zusammen mit einem optionalen Satz zulässiger oder blockierter Speicherorte (d. h. Buckets) gespeichert wird. Cloudanbieter-Administratoren in Ihrer Organisation erteilen dem generierten Benutzer Berechtigungen für die Speicherorte. Dank dieser Option müssen Benutzer beim Erstellen von Stagingbereichen oder beim Laden von Daten keine Anmeldeinformationen eingeben.

Eine einzelne Speicherintegration kann mehrere externe (d. h. S3) Stagingbereiche unterstützen. Die URL in der Stagingbereichsdefinition muss mit den für den Parameter STORAGE_ALLOWED_LOCATIONS angegebenen S3-Buckets (und optionalen Pfaden) übereinstimmen.

CREATE STORAGE INTEGRATION <integration_name>
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = '<iam_role>'
  STORAGE_ALLOWED_LOCATIONS = ('s3://<bucket>/<path>/', 's3://<bucket>/<path>/')
  [ STORAGE_BLOCKED_LOCATIONS = ('s3://<bucket>/<path>/', 's3://<bucket>/<path>/') ]

Wobei:

• integration_name ist der Name der neuen Integration.

• iam_role ist der Amazon Resource Name (ARN) der Rolle, die Sie in Schritt 2: IAM-Rolle in AWS erstellen (unter diesem Thema) erstellt haben.

• bucket ist der Name eines S3-Buckets, in dem Ihre Datendateien gespeichert sind (z. B. mybucket). Die erforderlichen Parameter STORAGE_ALLOWED_LOCATIONS und STORAGE_BLOCKED_LOCATIONS beschränken bzw. blockieren den Zugriff auf diese Buckets, wenn Stagingbereiche, die auf diese Integration verweisen, erstellt oder geändert werden.

• path ist ein optionaler Pfad, mit dem Sie Objekte im Bucket genauer steuern können.

Im folgenden Beispiel wird eine Integration erstellt, die externe Stagingbereiche, die die Integration nutzen, explizit darauf beschränkt, auf einen von zwei Buckets und Pfaden zu verweisen: In einem späteren Schritt werden wir einen externen Stagingbereich erstellen, der auf einen dieser Buckets und Pfade verweist.

Zusätzliche externe Stagingbereiche, die diese Integration ebenfalls verwenden, können auf die zulässigen Buckets und Pfade verweisen:

CREATE STORAGE INTEGRATION s3_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::001234567890:role/myrole'
  STORAGE_ALLOWED_LOCATIONS = ('s3://mybucket1/mypath1/', 's3://mybucket2/mypath2/')
  STORAGE_BLOCKED_LOCATIONS = ('s3://mybucket1/mypath1/sensitivedata/', 's3://mybucket2/mypath2/sensitivedata/');

Copy

Schritt 4: AWS-IAM-Benutzer für Ihr Snowflake-Konto abrufen¶

1. Führen Sie den Befehl DESCRIBE INTEGRATION aus, um den ARN für den AWS-IAM-Benutzer abzurufen, der für Ihr Snowflake-Konto automatisch erstellt wurde:

   DESC INTEGRATION <integration_name>;
   

   Copy

   Wobei:

   • integration_name ist der Name der Integration, die Sie in Schritt 3: Cloud Storage-Integration in Snowflake erstellen (unter diesem Thema) erstellt haben.

   Beispiel:

   DESC INTEGRATION s3_int;
   
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------+
   | property                  | property_type | property_value                                                                 | property_default |
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------|
   | ENABLED                   | Boolean       | true                                                                           | false            |
   | STORAGE_ALLOWED_LOCATIONS | List          | s3://mybucket1/mypath1/,s3://mybucket2/mypath2/                                | []               |
   | STORAGE_BLOCKED_LOCATIONS | List          | s3://mybucket1/mypath1/sensitivedata/,s3://mybucket2/mypath2/sensitivedata/    | []               |
   | STORAGE_AWS_IAM_USER_ARN  | String        | arn:aws:iam::123456789001:user/abc1-b-self1234                                 |                  |
   | STORAGE_AWS_ROLE_ARN      | String        | arn:aws:iam::001234567890:role/myrole                                          |                  |
   | STORAGE_AWS_EXTERNAL_ID   | String        | MYACCOUNT_SFCRole=2_a123456/s0aBCDEfGHIJklmNoPq=                               |                  |
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------+
   

   Copy

2. Notieren Sie die folgenden Werte:

   Wert	Beschreibung
   STORAGE_AWS_IAM_USER_ARN	Der AWS IAM-Benutzer, der für Ihr Snowflake-Konto erstellt wurde, in diesem Beispiel arn:aws:iam::123456789001:user/abc1-b-self1234. Wir stellen einen einzelnen IAM-Benutzer für Ihr gesamtes Snowflake-Konto bereit. Alle S3-Speicherintegrationen verwenden diesen IAM-Benutzer.
   STORAGE_AWS_EXTERNAL_ID	Die externe ID, die zum Herstellen einer vertrauenswürdigen Beziehung erforderlich ist.

   Diese Werte werden Sie im nächsten Abschnitt angeben.

Schritt 5: IAM-Benutzerberechtigungen für den Zugriff auf Bucket-Objekte erteilen¶

Die folgende schrittweise Anleitung beschreibt, wie Sie die IAM-Zugriffsberechtigungen für Snowflake über Ihre AWS Management Console so konfigurieren, dass Sie einen S3-Bucket zum Laden und Entladen von Daten verwenden können:

1. Melden Sie sich bei der AWS Management Console an.

2. Wählen Sie auf dem Startseiten-Dashboard die Option Identity & Access Management (IAM) aus:

   

3. Wählen Sie im linken Navigationsbereich Roles aus.

4. Klicken Sie auf die Rolle, die Sie in Schritt 2: IAM-Rolle in AWS erstellen (unter diesem Thema) erstellt haben.

5. Klicken Sie auf die Registerkarte Trust relationships.

6. Klicken Sie auf die Schaltfläche Edit trust relationship.

7. Ändern Sie das Richtliniendokument mit den DESC STORAGE INTEGRATION-Ausgabewerten, die Sie in Schritt 4: AWS-IAM-Benutzer für Ihr Snowflake-Konto abrufen (unter diesem Thema) ermittelt haben.

   Richtliniendokument für die IAM-Rolle

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "",
         "Effect": "Allow",
         "Principal": {
           "AWS": "<snowflake_user_arn>"
         },
         "Action": "sts:AssumeRole",
         "Condition": {
           "StringEquals": {
             "sts:ExternalId": "<snowflake_external_id>"
           }
         }
       }
     ]
   }
   

   Copy

   Wobei:

   • snowflake_user_arn ist der von Ihnen notierte STORAGE_AWS_IAM_USER_ARN-Wert.

   • snowflake_external_id ist der von Ihnen notierte STORAGE_AWS_EXTERNAL_ID-Wert.

     In diesem Beispiel hat snowflake_external_id den Wert MYACCOUNT_SFCRole=2_a123456/s0aBCDEfGHIJklmNoPq=.

     Bemerkung

     Wenn Sie aus Sicherheitsgründen eine neue Speicherintegration erstellen (oder eine bestehende Speicherintegration mit der CREATE OR REPLACE STORAGE INTEGRATION-Syntax neu erstellen), hat die resultierende Speicherintegration eine andere externe ID und kann daher die Vertrauensstellung nicht auflösen, es sei denn, die Vertrauensrichtlinie wird geändert.

8. Klicken Sie auf die Schaltfläche Update Trust Policy. Die Änderungen werden gespeichert.

Schritt 6: Externen Stagingbereich erstellen¶

Erstellen Sie einen externen (S3) Stagingbereich, der auf die Speicherintegration verweist, die Sie in Schritt 3: Cloud Storage-Integration in Snowflake erstellen (unter diesem Thema) erstellt haben.

GRANT CREATE STAGE ON SCHEMA public TO ROLE myrole;

GRANT USAGE ON INTEGRATION s3_int TO ROLE myrole;

Erstellen Sie den Stagingbereich mit dem Befehl CREATE STAGE.

Legen Sie beispielsweise mydb.public als aktuelle Datenbank und aktuelles Schema für die Benutzersitzung fest, und erstellen Sie dann einen Stagingbereich namens my_s3_stage. In diesem Beispiel verweist der Stagingbereich auf den S3-Bucket und den Pfad mybucket1/path1, die von der Integration unterstützt werden. Der Stagingbereich verweist außerdem auf ein benanntes Dateiformatobjekt mit dem Namen my_csv_format:

USE SCHEMA mydb.public;

CREATE STAGE my_s3_stage
  STORAGE_INTEGRATION = s3_int
  URL = 's3://bucket1/path1/'
  FILE_FORMAT = my_csv_format;

Copy

Nächstes Thema: Verschlüsselung von AWS-Datendateien