Konfigurieren eines Azure-Containers zum Laden von Daten¶

Schritt 1: Cloud Storage-Integration in Snowflake erstellen¶

Erstellen Sie mit dem Befehl CREATE STORAGE INTEGRATION eine Speicherintegration. Eine Speicherintegration ist ein Snowflake-Objekt, in dem ein für Ihren Azure-Cloudspeicher generierter Dienstprinzipal zusammen mit einem optionalen Satz zulässiger oder blockierter Speicherorte (d. h. Container) gespeichert wird. Cloudanbieter-Administratoren Ihrer Organisation erteilen dem generierten Dienstprinzipal Berechtigungen für die Speicherorte. Dank dieser Option müssen Benutzer beim Erstellen von Stagingbereichen oder beim Laden von Daten keine Anmeldeinformationen eingeben.

Eine einzelne Speicherintegration kann mehrere externe (d. h. Azure) Stagingbereiche unterstützen. Die URL in der Stagingbereichsdefinition muss mit den für den Parameter STORAGE_ALLOWED_LOCATIONS angegebenen Azure-Containern (und optionalen Pfaden) übereinstimmen.

CREATE STORAGE INTEGRATION <integration_name>
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'AZURE'
  ENABLED = TRUE
  AZURE_TENANT_ID = '<tenant_id>'
  STORAGE_ALLOWED_LOCATIONS = ('azure://<account>.blob.core.windows.net/<container>/<path>/', 'azure://<account>.blob.core.windows.net/<container>/<path>/')
  [ STORAGE_BLOCKED_LOCATIONS = ('azure://<account>.blob.core.windows.net/<container>/<path>/', 'azure://<account>.blob.core.windows.net/<container>/<path>/') ]

Wobei:

• integration_name ist der Name der neuen Integration.

• tenant_id ist die ID Ihres Office 365-Mandanten, zu dem die zulässigen und gesperrten Speicherkonten gehören. Die Authentifizierung einer Speicherintegration kann nur für einen einzigen Mandanten erfolgen. Daher müssen sich die zulässigen und blockierten Speicherorte auf Speicherkonten beziehen, die alle diesem einen Mandanten gehören.

  Melden Sie sich beim Azure-Portal an, und klicken Sie auf Azure Active Directory » Properties, um Ihre Mandanten-ID zu ermitteln. Die Mandanten-ID wird im Feld Tenant ID angezeigt.

• container ist der Name des Azure-Containers, in dem Ihre Datendateien gespeichert sind (z. B. mycontainer). Die Parameter STORAGE_ALLOWED_LOCATIONS und STORAGE_BLOCKED_LOCATIONS beschränken bzw. blockieren den Zugriff auf diese Container, wenn Stagingbereiche, die auf diese Integration verweisen, erstellt oder geändert werden.

• path ist ein optionaler Pfad, mit dem Sie logische Verzeichnisse im Container genauer steuern können.

Im folgenden Beispiel wird eine Integration erstellt, die die externen Stagingbereiche, die die Integration verwenden, explizit darauf beschränkt, auf zwei Container oder Pfade zu verweisen: In einem späteren Schritt werden wir einen externen Stagingbereich erstellen, der auf einen dieser Container und Pfade verweist. Es können auch mehrere externe Stagingbereiche, die diese Integration verwenden, auf die zulässigen Container und Pfade verweisen:

CREATE STORAGE INTEGRATION azure_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'AZURE'
  ENABLED = TRUE
  AZURE_TENANT_ID = 'a123b4c5-1234-123a-a12b-1a23b45678c9'
  STORAGE_ALLOWED_LOCATIONS = ('azure://myaccount.blob.core.windows.net/mycontainer1/mypath1/', 'azure://myaccount.blob.core.windows.net/mycontainer2/mypath2/')
  STORAGE_BLOCKED_LOCATIONS = ('azure://myaccount.blob.core.windows.net/mycontainer1/mypath1/sensitivedata/', 'azure://myaccount.blob.core.windows.net/mycontainer2/mypath2/sensitivedata/');

Copy

Schritt 2: Snowflake Zugriff auf die Speicherorte gewähren¶

1. Führen Sie den Befehl DESCRIBE INTEGRATION aus, um die Zustimmungs-URL abzurufen:

   DESC STORAGE INTEGRATION <integration_name>;
   

   Copy

   Wobei:

   • integration_name ist der Name der Integration, die Sie in Schritt 1: Cloud Storage-Integration in Snowflake erstellen erstellt haben.

Beachten Sie die Werte in den folgenden Spalten:

AZURE_CONSENT_URL

URL der Microsoft-Berechtigungsanforderungsseite.

AZURE_MULTI_TENANT_APP_NAME

Name der Snowflake-Clientanwendung, die für Ihr Konto erstellt wurde. In einem späteren Schritt in dieser Anleitung müssen Sie dieser Anwendung die erforderlichen Berechtigungen erteilen, um ein Zugriffstoken für die zulässigen Speicherorte zu erhalten.

1. Navigieren Sie in einem Webbrowser zu der in der Spalte AZURE_CONSENT_URL angegebenen URL. Es wird eine Microsoft-Berechtigungsanforderungsseite angezeigt.

2. Klicken Sie auf die Schaltfläche Accept. Mit dieser Aktion kann dem Azure-Dienstprinzipal, der für Ihr Snowflake-Konto erstellt wurde, ein Zugriffstoken für die angegebenen Ressourcen in Ihrem Mandantenbereich zugewiesen werden. Das Abrufen eines Zugriffstokens ist nur erfolgreich, wenn Sie dem Dienstprinzipal die entsprechenden Berechtigungen für den Container erteilen (siehe nächster Schritt).

   Die Microsoft-Berechtigungsanforderungsseite leitet auf die Snowflake-Firmenwebsite (snowflake.com) um.

3. Melden Sie sich beim Microsoft Azure-Portal an.

4. Navigieren Sie zu Azure Services » Storage Accounts. Klicken Sie auf den Namen des Speicherkontos, auf das Sie dem Snowflake-Dienstprinzipal Zugriff gewähren.

5. Klicken Sie auf Access Control (IAM) » Add role assignment.

6. Wählen Sie die gewünschte Rolle aus, die dem Snowflake-Dienstprinzipal gewährt werden soll:

   • Storage Blob Data Reader gewährt nur Lesezugriff. Dies ermöglicht das Laden von Daten aus Stagingdateien, die im Speicherkonto bereitgestellt wurden.

   • Storage Blob Data Contributor gewährt Lese- und Schreibzugriff. Dies ermöglicht das Laden oder Entladen von Daten in/aus Dateien, die im Speicherkonto bereitgestellt sind. Die Rolle ermöglicht auch die Ausführung des Befehls REMOVE zum Entfernen von Dateien, die im Speicherkonto bereitgestellt sind.

7. Suchen Sie nach dem Snowflake-Dienstprinzipal. Dies ist die Identität in der Eigenschaft AZURE_MULTI_TENANT_APP_NAME der Ausgabe von DESC STORAGE INTEGRATION (in Schritt 1). Suchen Sie in der Eigenschaft AZURE_MULTI_TENANT_APP_NAME nach der Zeichenfolge vor dem Unterstrich.

   Wichtig

   • Es kann eine Stunde oder länger dauern, bis Azure den über die oben genannte Microsoft-Anforderungsseite angeforderten Snowflake-Dienstprinzipal erstellt hat. Wenn der Dienstprinzipal nicht sofort verfügbar ist, empfehlen wir, ein bis zwei Stunden zu warten und ihn dann erneut zu suchen.

   • Wenn Sie den Dienstprinzipal löschen, funktioniert die Speicherintegration nicht mehr.

   

8. Klicken Sie auf die Schaltfläche Review + assign.

   Bemerkung

   • Gemäß der Microsoft Azure-Dokumentation kann die Weitergabe von Rollenzuweisungen bis zu fünf Minuten dauern.

   • Snowflake speichert die temporären Anmeldeinformationen im Cache für einen Zeitraum, der die Ablaufzeit von 60 Minuten nicht überschreiten darf. Wenn Sie den Zugriff von Snowflake widerrufen, sind Benutzer vor Ablauf des Cache möglicherweise in der Lage, Dateien auflisten und Daten vom Cloudspeicherort zu laden.

Schritt 3: Externen Stagingbereich erstellen¶

Erstellen Sie einen externen (Azure) Stagingbereich, der auf die Speicherintegration verweist, die Sie in Schritt 1: Cloud Storage-Integration in Snowflake erstellen (unter diesem Thema) erstellt haben.

Erstellen Sie den Stagingbereich mit dem Befehl CREATE STAGE.

Legen Sie beispielsweise mydb.public als aktuelle Datenbank und aktuelles Schema für die Benutzersitzung fest, und erstellen Sie dann einen Stagingbereich namens my_azure_stage. In diesem Beispiel verweist der Stagingbereich auf den Azure-Container und den Pfad mycontainer1/path1, die von der Integration unterstützt werden. Der Stagingbereich verweist außerdem auf ein benanntes Dateiformatobjekt mit dem Namen my_csv_format:

USE SCHEMA mydb.public;

CREATE STAGE my_azure_stage
  STORAGE_INTEGRATION = azure_int
  URL = 'azure://myaccount.blob.core.windows.net/container1/path1'
  FILE_FORMAT = my_csv_format;

Copy

Schritt 1: SAS-Token generieren¶

Die folgende Schritt-für-Schritt-Anleitung beschreibt, wie Sie ein SAS-Token generieren, um Snowflake eingeschränkten Zugriff auf Objekte in Ihrem Speicherkonto zu gewähren:

1. Melden Sie sich beim Azure-Portal an.

2. Wählen Sie auf dem Startseiten-Dashboard die Option Storage Accounts » <Speicherkonto> aus. Wählen Sie unter Security + networking die Option Shared access signature aus.

   

3. Wählen Sie die folgenden Zulässigen Dienste aus:

   • Blob

4. Wählen Sie die folgenden Zulässigen Ressourcentypen aus:

   • Container (erforderlich, um Objekte im Speicherkonto aufzulisten)

   • Object (erforderlich zum Lesen/Schreiben von Objekten von/auf das Speicherkonto)

5. Wählen Sie die folgenden zulässigen Berechtigungen zum Laden von Datendateien aus Azure-Ressourcen:

   • Lesen

   • Liste

   Die Berechtigungen Write, Add und Create sind auch erforderlich, wenn Sie Dateien in einen Container entladen möchten. Zur Verwendung der Option PURGE = TRUE ist außerdem die Permanent Delete-Berechtigung erforderlich.

6. Geben Sie Datum und Uhrzeit für Start und Ablauf des SAS-Tokens an. Als Teil eines allgemeinen Sicherheitsplans können Sie periodisch ein anderes SAS-Token generieren.

7. Lassen Sie das Feld Zulässige IP-Adressen leer, und geben Sie unter Allowed protocols die Option HTTPS only oder HTTPS and HTTP an.

   

8. Klicken Sie auf die Schaltfläche Generate SAS and connection string. Notieren Sie den vollständigen Wert im Feld SAS token, beginnend mit und einschließlich ?. Das ist Ihr SAS-Token. Sie benötigen dieses Token beim Erstellen eines externen Stagingbereichs.

Schritt 2: Externen Stagingbereich erstellen¶

Erstellen Sie einen externen (Azure-)Stagingbereich, der auf das SAS-Token verweist, das Sie in Schritt 1: SAS-Token generieren (unter diesem Thema) generiert haben.

Im folgenden Beispiel wird SQL verwendet, um einen externen Stagingbereich namens my_azure_stage zu erstellen, der Azure-Anmeldeinformationen und einen Hauptverschlüsselungsschlüssel enthält. Die URL des Stagingbereichs verweist auf das Azure-Konto myaccount. Die Datendateien werden im Container mycontainer und im Pfad /load/files gespeichert. Der Stagingbereich verweist auf ein benanntes Dateiformatobjekt mit dem Namen my_csv_format. Beachten Sie, dass das Beispiel den Wert MASTER_KEY abschneidet:

CREATE OR REPLACE STAGE my_azure_stage
  URL='azure://myaccount.blob.core.windows.net/mycontainer/load/files'
  CREDENTIALS=(AZURE_SAS_TOKEN='?sv=2016-05-31&ss=b&srt=sco&sp=rwdl&se=2018-06-27T10:05:50Z&st=2017-06-27T02:05:50Z&spr=https,http&sig=bgqQwoXwxzuD2GJfagRg7VOS8hzNr3QLT7rhS8OFRLQ%3D')
  ENCRYPTION=(TYPE='AZURE_CSE' MASTER_KEY = 'kPx...')
  FILE_FORMAT = my_csv_format;

Copy

Beachten Sie, dass die in diesem Beispiel verwendeten Werte AZURE_SAS_TOKEN und MASTER_KEY nur zur Veranschaulichung dienen.