Automatisches Aktualisieren von Verzeichnistabellen für Azure Blob Storage¶

Ressourcengruppe erstellen¶

Ein Event Grid-Thema liefert einen Endpunkt, an den die Quelle (d. h. Azure-Speicher) Ereignisse sendet. Ein Thema wird für eine Sammlung verwandter Ereignisse verwendet. Event Grid-Themen sind Azure-Ressourcen und müssen in einer Azure-Ressourcengruppe platziert werden.

Führen Sie den folgenden Befehl aus, um eine Ressourcengruppe zu erstellen:

az group create --name <resource_group_name> --location <location>

Wobei:

• resource_group_name ist der Name der neuen Ressourcengruppe.

• location ist in Snowflake-Terminologie der Ort oder die Region Ihres Azure Storage-Kontos.

Event Grid-Ressourcenanbieter aktivieren¶

Führen Sie den folgenden Befehl aus, um den Event Grid-Ressourcenanbieter zu registrieren. Beachten Sie, dass dieser Schritt nur erforderlich ist, wenn Sie Event Grid mit Ihrem Azure-Konto zuvor noch nicht verwendet haben:

az provider register --namespace Microsoft.EventGrid
az provider show --namespace Microsoft.EventGrid --query "registrationState"

Speicherkonto für Datendateien erstellen¶

Führen Sie den folgenden Befehl aus, um ein Speicherkonto zum Speichern Ihrer Datendateien zu erstellen. Dieses Konto muss entweder ein Blob-Speicherkonto (d. h. ein BlobStorage-Konto) oder ein GPv2-Konto (d. h. ein StorageV2-Konto) sein, da nur diese beiden Kontotypen Ereignismeldungen unterstützen.

Erstellen Sie beispielsweise ein Blob-Speicherkonto:

az storage account create --resource-group <resource_group_name> --name <storage_account_name> --sku Standard_LRS --location <location> --kind BlobStorage --access-tier Hot

Wobei:

• resource_group_name ist der Name der Ressourcengruppe, die Sie unter Ressourcengruppe erstellen erstellt haben.

• storage_account_name ist der Name des neuen Speicherkontos.

• location ist der Speicherort Ihres Azure Storage-Kontos.

Speicherkonto für die Speicherwarteschlange erstellen¶

Führen Sie den folgenden Befehl aus, um ein Speicherkonto zum Hosten Ihrer Speicherwarteschlange zu erstellen. Dieses Konto muss ein GPv2-Konto sein, da nur diese Art von Konto Ereignismeldungen an eine Speicherwarteschlange unterstützt.

Erstellen Sie zum Beispiel ein GPv2-Konto:

az storage account create --resource-group <resource_group_name> --name <storage_account_name> --sku Standard_LRS --location <location> --kind StorageV2

Wobei:

• resource_group_name ist der Name der Ressourcengruppe, die Sie unter Ressourcengruppe erstellen erstellt haben.

• storage_account_name ist der Name des neuen Speicherkontos.

• location ist der Speicherort Ihres Azure Storage-Kontos.

Speicherwarteschlange erstellen¶

Eine einzelne Speicherwarteschlange kann die Ereignismeldungen für viele Event Grid-Abonnements erfassen. Für optimale Leistung empfiehlt Snowflake, eine einzelne Speicherwarteschlange zu erstellen, in der alle Ihre Abonnements für Snowflake gespeichert werden.

Führen Sie den folgenden Befehl aus, um eine Speicherwarteschlange zu erstellen. In einer Speicherwarteschlange werden Gruppen von Nachrichten gespeichert, in diesem Fall Ereignismeldungen aus Event Grid:

az storage queue create --name <storage_queue_name> --account-name <storage_account_name>

Wobei:

• storage_queue_name ist der Name der neuen Speicherwarteschlange.

• storage_account_name ist der Name des Speicherkontos, das Sie unter Speicherkonto für die Speicherwarteschlange erstellen erstellt haben.

Speicherkonto- und Warteschlangen-IDs zum Verweisen exportieren¶

Führen Sie die folgenden Befehle aus, um Umgebungsvariablen für die Speicherkonto- und Warteschlangen-IDs festzulegen, die später in diesen Anweisungen angefordert werden:

• Linux oder macOS:

  export storageid=$(az storage account show --name <data_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  export queuestorageid=$(az storage account show --name <queue_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  export queueid="$queuestorageid/queueservices/default/queues/<storage_queue_name>"
  

  Copy

• Windows:

  set storageid=$(az storage account show --name <data_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  set queuestorageid=$(az storage account show --name <queue_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  set queueid="%queuestorageid%/queueservices/default/queues/<storage_queue_name>"
  

  Copy

Wobei:

• data_storage_account_name ist der Name des Speicherkontos, das Sie unter Speicherkonto für Datendateien erstellen erstellt haben.

• queue_storage_account_name ist der Name des Speicherkontos, das Sie unter Speicherkonto für die Speicherwarteschlange erstellen erstellt haben.

• resource_group_name ist der Name der Ressourcengruppe, die Sie unter Ressourcengruppe erstellen erstellt haben.

• storage_queue_name ist der Name der Speicherwarteschlange, die Sie unter Speicherwarteschlange erstellen erstellt haben.

Event Grid-Erweiterung installieren¶

Führen Sie den folgenden Befehl aus, um die Event Grid-Erweiterung für die Azure-CLI zu installieren:

az extension add --name eventgrid

Event Grid-Abonnement erstellen¶

Führen Sie den folgenden Befehl aus, um das Event Grid-Abonnement zu erstellen. Durch das Abonnieren eines Themas wird Event Grid darüber informiert, welche Ereignisse verfolgt werden sollen:

• Linux oder macOS:

  az eventgrid event-subscription create \
  --source-resource-id $storageid \
  --name <subscription_name> --endpoint-type storagequeue \
  --endpoint $queueid \
  --advanced-filter data.api stringin CopyBlob PutBlob PutBlockList FlushWithClose SftpCommit DeleteBlob DeleteFile SftpRemove
  

  Copy

• Windows:

  az eventgrid event-subscription create \
  --source-resource-id %storageid% \
  --name <subscription_name> --endpoint-type storagequeue \
  --endpoint %queueid% \
  -advanced-filter data.api stringin CopyBlob PutBlob PutBlockList FlushWithClose SftpCommit DeleteBlob DeleteFile SftpRemove
  

  Copy

Wobei:

• storageid und queueid sind die Umgebungsvariablen für die Speicherkonto- bzw. die Warteschlangen-ID, die Sie in Speicherkonto- und Warteschlangen-IDs zum Verweisen exportieren festgelegt haben.

• subscription_name ist der Name des neuen Event Grid-Abonnements.

Speicherwarteschlangen-URL und Mandanten-ID abrufen¶

1. Melden Sie sich beim Microsoft Azure-Portal an.

2. Navigieren Sie zu Storage account » Queue service » Queues. Notieren Sie die URL für die Warteschlange, die Sie unter Erstellen einer Speicherwarteschlange erstellt haben, um später darauf zu verweisen. Die URL hat das folgende Format:

   https://<storage_account_name>.queue.core.windows.net/<storage_queue_name>
   

   Copy

3. Navigieren Sie zu Azure Active Directory » Properties. Notieren Sie den Wert Tenant ID zum späteren Verweisen. Die Verzeichnis-ID oder Mandanten-ID wird benötigt, um die Zustimmungs-URL zu generieren, die Snowflake Zugriff auf das Event Grid-Abonnement gewährt.

Benachrichtigungsintegration erstellen¶

Erstellen Sie eine Benachrichtigungsintegration mit dem Befehl CREATE NOTIFICATION INTEGRATION.

CREATE NOTIFICATION INTEGRATION <integration_name>
  ENABLED = true
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AZURE_STORAGE_QUEUE
  AZURE_STORAGE_QUEUE_PRIMARY_URI = '<queue_URL>'
  AZURE_TENANT_ID = '<directory_ID>';

Wobei:

• integration_name ist der Name der neuen Integration.

• queue_URL und directory_ID sind die Warteschlangen-URL bzw. die Mandanten-ID, die Sie unter Speicherwarteschlangen-URL und Mandanten-ID abrufen notiert haben.

Beispiel:

CREATE NOTIFICATION INTEGRATION my_notification_int
  ENABLED = true
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AZURE_STORAGE_QUEUE
  AZURE_STORAGE_QUEUE_PRIMARY_URI = 'https://myqueue.queue.core.windows.net/mystoragequeue'
  AZURE_TENANT_ID = 'a123bcde-1234-5678-abc1-9abc12345678';

Snowflake Zugriff auf die Speicherwarteschlange gewähren¶

Beachten Sie, dass bestimmte Schritte in diesem Abschnitt eine lokale Installation der Azure-Befehlszeilenschnittestelle (CLI) erfordern.

1. Führen Sie den Befehl DESCRIBE INTEGRATION aus, um die Zustimmungs-URL abzurufen:

   DESC NOTIFICATION INTEGRATION <integration_name>;
   

   Copy

   Wobei:

   • integration_name ist der Name der Integration, die Sie unter Benachrichtigungsintegration erstellen erstellt haben.

   Beachten Sie die Werte in den folgenden Spalten:

   AZURE_CONSENT_URL

   URL der Microsoft-Berechtigungsanforderungsseite.

   AZURE_MULTI_TENANT_APP_NAME

   Name der Snowflake-Clientanwendung, die für Ihr Konto erstellt wurde. In einem späteren Schritt in dieser Anleitung müssen Sie der Anwendung die erforderlichen Berechtigungen erteilen, um ein Zugriffstoken für die zulässigen Themen zu erhalten.

2. Navigieren Sie in einem Webbrowser zu der in der Spalte AZURE_CONSENT_URL angegebenen URL. Es wird eine Microsoft-Berechtigungsanforderungsseite angezeigt.

3. Klicken Sie auf die Schaltfläche Accept. Mit dieser Aktion kann der Azure-Dienstprinzipal, der für Ihr Snowflake-Konto erstellt wurde, ein Zugriffstoken für eine beliebige Ressource in Ihrem Mandantenbereich erhalten. Das Abrufen eines Zugriffstokens ist nur erfolgreich, wenn Sie dem Dienstprinzipal die entsprechenden Berechtigungen für den Container erteilen (siehe nächster Schritt).

   Die Microsoft-Berechtigungsanforderungsseite leitet auf die Snowflake-Firmenwebsite (snowflake.com) um.

4. Melden Sie sich beim Microsoft Azure-Portal an.

5. Navigieren Sie zu Azure Active Directory » Enterprise applications. Überprüfen Sie, ob der Snowflake-Anwendungsbezeichner, den Sie sich in Schritt 2 in diesem Abschnitt notiert haben, aufgeführt ist.

   Wichtig

   Wenn Sie die Snowflake-Anwendung zu einem anderen Zeitpunkt in Azure Active Directory löschen, funktioniert die Benachrichtigungsintegration nicht mehr.

6. Navigieren Sie zu Queues » storage_queue_name, wobei storage_queue_name der Name der Speicherwarteschlange ist, die Sie unter Speicherwarteschlange erstellen erstellt haben.

7. Klicken Sie auf Access Control (IAM) » Add role assignment.

8. Suchen Sie nach dem Snowflake-Dienstprinzipal. Dies ist die Identität in der Eigenschaft AZURE_MULTI_TENANT_APP_NAME der Ausgabe von DESC NOTIFICATION INTEGRATION (in Schritt 1). Suchen Sie in der Eigenschaft AZURE_MULTI_TENANT_APP_NAME nach der Zeichenfolge vor dem Unterstrich.

   Wichtig

   • Es kann eine Stunde oder länger dauern, bis Azure den über die oben genannte Microsoft-Anforderungsseite angeforderten Snowflake-Dienstprinzipal erstellt hat. Wenn der Dienstprinzipal nicht sofort verfügbar ist, empfehlen wir, ein bis zwei Stunden zu warten und ihn dann erneut zu suchen.

   • Wenn Sie den Dienstprinzipal löschen, funktioniert die Benachrichtigungsintegration nicht mehr.

9. Erteilen Sie der Snowflake-App die folgenden Berechtigungen:

   • Role: Storage Queue Data Contributor

   • Assign access to: Azure-AD-Benutzer, -Gruppe oder -Dienstprinzipal

   • Select: Der appDisplayName-Wert.

   Der Snowflake-Anwendungsbezeichner sollte jetzt unter Storage Queue Data Contributor (im selben Dialogfeld) aufgeführt sein.

Parameter der Verzeichnistabelle (directoryTable)¶

ENABLE = TRUE | FALSE

Gibt an, ob eine Verzeichnistabelle zum Stagingbereich hinzugefügt werden soll. Wenn der Wert TRUE ist, wird beim Erstellen des Stagingbereichs auch eine Verzeichnistabelle erstellt.

Standard: FALSE

AUTO_REFRESH = TRUE | FALSE

Gibt an, ob Snowflake das Auslösen einer automatischen Aktualisierung der Metadaten der Verzeichnistabelle aktivieren soll, wenn in dem in [ WITH ] LOCATION = angegebenen benannten externen Stagingbereich neue oder aktualisierte Datendateien verfügbar sind.

TRUE

Snowflake ermöglicht das Auslösen automatischer Aktualisierungen von Metadaten externer Tabellen.

FALSE

Snowflake ermöglicht nicht das Auslösen automatischer Aktualisierungen von Metadaten externer Tabellen. Sie müssen die Metadaten der externen Tabellen manuell mit ALTER STAGE … REFRESH aktualisieren, um die Metadaten mit der aktuellen Liste der Dateien im Stagingbereichspfad zu synchronisieren.

Standard: FALSE

Microsoft Azure

NOTIFICATION_INTEGRATION = '<Name_der_Benachrichtigungsintegration>'

Name der Benachrichtigungsintegration, die zur automatischen Aktualisierung der Metadaten der Tabelle im Verzeichnis unter Verwendung von Azure Event Grid-Benachrichtigungen verwendet wird. Eine Benachrichtigungsintegration ist ein Snowflake-Objekt, das eine Schnittstelle zwischen Snowflake und Cloud-Nachrichtenwarteschlangendiensten von Drittanbietern bereitstellt.

Im folgenden Beispiel wird im aktiven Schema der Benutzersitzung ein Stagingbereich mit dem Namen mystage erstellt. Die Cloudspeicher-URL enthält den Pfad files. Der Stagingbereich verweist auf eine Speicherintegration mit dem Namen my_storage_int.

USE SCHEMA mydb.public;

Copy

CREATE STAGE mystage
  URL='azure://myaccount.blob.core.windows.net/load/files/'
  STORAGE_INTEGRATION = my_storage_int
  DIRECTORY = (
    ENABLE = true
    AUTO_REFRESH = true
    NOTIFICATION_INTEGRATION = 'MY_NOTIFICATION_INT'
  );

Der Parameter NOTIFICATION_INTEGRATION verweist auf die Benachrichtigungsintegration my_notification_int, die Sie in Schritt 2: Erstellen der Benachrichtigungsintegration erstellt haben. Der Integrationsname muss komplett in Großbuchstaben angegeben werden.

Wenn neue oder aktualisierte Datendateien zum S3-Bucket hinzugefügt werden, weist die Ereignisbenachrichtigung Snowflake an, sie in die Metadaten der externen Tabelle zu scannen.

Syntax¶

ALTER STAGE [ IF EXISTS ] <name> REFRESH [ SUBPATH = '<relative-path>' ]

Wobei:

REFRESH

Greift auf die Staging-Datendateien zu, auf die in der Definition der externen Tabelle verwiesen wird, und aktualisiert die Tabellenmetadaten:

• Neue Dateien im Pfad werden zu den Tabellenmetadaten hinzugefügt.

• Änderungen an Dateien im Pfad werden in den Tabellenmetadaten aktualisiert.

• Dateien, die sich nicht mehr im Pfad befinden, werden aus den Tabellenmetadaten entfernt.

Derzeit muss dieser Befehl jedes Mal ausgeführt werden, wenn Dateien zum Stagingbereich hinzugefügt, aktualisiert oder gelöscht werden. Dieser Schritt synchronisiert die Metadaten mit dem neuesten Satz zugeordneter Dateien im Stagingbereich und Pfad in der externen Tabellendefinition.

SUBPATH = '<relative-path>'

Geben Sie optional einen relativen Pfad an, um die Metadaten für eine bestimmte Teilmenge der Datendateien zu aktualisieren.

Beispiele¶

Aktualisieren Sie manuell die Metadaten der Verzeichnistabelle eines Stagingbereichs namens mystage:

ALTER STAGE mystage REFRESH;