Actualisation automatique des tables de répertoire pour le stockage Blob Azure¶

Créer un groupe de ressources¶

Un sujet Event Grid fournit un point de terminaison où la source (c.-à-d. Azure Storage) envoie des événements. Un sujet est utilisé pour une collection d’événements connexes. Les sujets Event Grid sont des ressources Azure et doivent être placés dans un groupe de ressources Azure.

Exécutez la commande suivante pour créer un groupe de ressources :

az group create --name <resource_group_name> --location <location>

Où :

• resource_group_name est le nom du nouveau groupe de ressources.

• location est l’emplacement ou la région dans la terminologie Snowflake de votre compte Azure Storage.

Activer le fournisseur de ressources Event Grid¶

Exécutez la commande suivante pour inscrire le fournisseur de ressources d’Event Grid. Notez que cette étape n’est requise que si vous n’avez pas déjà utilisé Event Grid avec votre compte Azure :

az provider register --namespace Microsoft.EventGrid
az provider show --namespace Microsoft.EventGrid --query "registrationState"

Créer un compte de stockage pour les fichiers de données¶

Exécutez la commande suivante pour créer un compte de stockage pour stocker vos fichiers de données. Ce compte doit être un compte de stockage Blob (type BlobStorage) ou GPv2 (type StorageV2), car seuls ces deux types de compte prennent en charge les messages d’événement.

Par exemple, créez un compte de stockage Blob :

az storage account create --resource-group <resource_group_name> --name <storage_account_name> --sku Standard_LRS --location <location> --kind BlobStorage --access-tier Hot

Où :

• resource_group_name est le nom du groupe de ressources que vous avez créé dans Créer un groupe de ressources.

• storage_account_name est le nom du nouveau compte de stockage.

• location correspond à l’emplacement de votre compte Azure Storage.

Créer un compte de stockage pour la file d’attente de stockage¶

Exécutez la commande suivante pour créer un compte de stockage pour héberger votre file d’attente de stockage. Ce compte doit être un compte GPv2, car seul ce type de compte prend en charge les messages d’événement dans une file d’attente de stockage.

Par exemple, créez un compte GPv2 :

az storage account create --resource-group <resource_group_name> --name <storage_account_name> --sku Standard_LRS --location <location> --kind StorageV2

Où :

• resource_group_name est le nom du groupe de ressources que vous avez créé dans Créer un groupe de ressources.

• storage_account_name est le nom du nouveau compte de stockage.

• location correspond à l’emplacement de votre compte Azure Storage.

Créer une file d’attente de stockage¶

Une seule file d’attente Azure Queue Storage peut collecter les messages d’événement pour de nombreux abonnements à Event Grid. Pour optimiser les performances, Snowflake recommande de créer une seule file d’attente de stockage afin de prendre en charge tous vos abonnements liés à Snowflake.

Exécutez la commande suivante pour créer une file d’attente de stockage. Une file d’attente de stockage stocke un ensemble de messages, en l’occurrence des messages d’événement d’Event Grid :

az storage queue create --name <storage_queue_name> --account-name <storage_account_name>

Où :

• storage_queue_name est le nom de la nouvelle file d’attente de stockage.

• storage_account_name est le nom du compte de stockage que vous avez créé dans Créer un compte de stockage pour la file d’attente de stockage.

Exporter le compte de stockage et les IDs de file d’attente pour référence¶

Exécutez les commandes suivantes pour définir les variables d’environnement des IDs de compte de stockage et de file d’attente qui seront demandés ultérieurement dans ces instructions :

• Linux ou macOS :

  export storageid=$(az storage account show --name <data_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  export queuestorageid=$(az storage account show --name <queue_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  export queueid="$queuestorageid/queueservices/default/queues/<storage_queue_name>"
  

  Copy

• Windows :

  set storageid=$(az storage account show --name <data_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  set queuestorageid=$(az storage account show --name <queue_storage_account_name> --resource-group <resource_group_name> --query id --output tsv)
  set queueid="%queuestorageid%/queueservices/default/queues/<storage_queue_name>"
  

  Copy

Où :

• data_storage_account_name est le nom du compte de stockage que vous avez créé dans Créer un compte de stockage pour les fichiers de données.

• queue_storage_account_name est le nom du compte de stockage que vous avez créé dans Créer un compte de stockage pour la file d’attente de stockage.

• resource_group_name est le nom du groupe de ressources que vous avez créé dans Créer un groupe de ressources.

• storage_queue_name est le nom de la file d’attente de stockage que vous avez créée dans Créer une file d’attente de stockage.

Installer l’extension Event Grid¶

Exécutez la commande suivante pour installer l’extension Event Grid pour Azure CLI :

az extension add --name eventgrid

Créer l’abonnement à Event Grid¶

Exécutez la commande suivante pour créer l’abonnement à Event Grid. L’abonnement à un sujet indique à Event Grid quels événements doivent être suivis :

• Linux ou macOS :

  az eventgrid event-subscription create \
  --source-resource-id $storageid \
  --name <subscription_name> --endpoint-type storagequeue \
  --endpoint $queueid \
  --advanced-filter data.api stringin CopyBlob PutBlob PutBlockList FlushWithClose SftpCommit DeleteBlob DeleteFile SftpRemove
  

  Copy

• Windows :

  az eventgrid event-subscription create \
  --source-resource-id %storageid% \
  --name <subscription_name> --endpoint-type storagequeue \
  --endpoint %queueid% \
  -advanced-filter data.api stringin CopyBlob PutBlob PutBlockList FlushWithClose SftpCommit DeleteBlob DeleteFile SftpRemove
  

  Copy

Où :

• storageid et queueid sont les variables d’environnement des ID de compte de stockage et de file d’attente que vous avez définies dans Exporter le compte de stockage et les IDs de file d’attente pour référence.

• subscription_name est le nom du nouvel abonnement à Event Grid.

Récupérer l’URL de file d’attente de stockage et l’ID du client¶

1. Connectez-vous au portail Microsoft Azure.

2. Accédez à Storage account » Queue service » Queues. Enregistrez l’URL pour la file d’attente que vous avez créée dans Créer une file d’attente de stockage pour référence ultérieure. L’URL a le format suivant :

   https://<storage_account_name>.queue.core.windows.net/<storage_queue_name>
   

   Copy

3. Accédez à Azure Active Directory » Properties. Enregistrez la valeur Tenant ID pour référence plus tard. L’ID de répertoire , ou ID de client, est nécessaire pour générer l’URL de consentement qui accorde à Snowflake l’accès à l’abonnement à Event Grid.

Créer l’intégration des notifications¶

Créez une intégration de notification à l’aide de la commande CREATE NOTIFICATION INTEGRATION.

CREATE NOTIFICATION INTEGRATION <integration_name>
  ENABLED = true
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AZURE_STORAGE_QUEUE
  AZURE_STORAGE_QUEUE_PRIMARY_URI = '<queue_URL>'
  AZURE_TENANT_ID = '<directory_ID>';

Où :

• integration_name est le nom de la nouvelle intégration.

• queue_URL et directory_ID sont l’URL de la file d’attente et l’ID de client que vous avez enregistrés dans Récupérer l’URL de la file d’attente de stockage et de l’ID du client.

Par exemple :

CREATE NOTIFICATION INTEGRATION my_notification_int
  ENABLED = true
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AZURE_STORAGE_QUEUE
  AZURE_STORAGE_QUEUE_PRIMARY_URI = 'https://myqueue.queue.core.windows.net/mystoragequeue'
  AZURE_TENANT_ID = 'a123bcde-1234-5678-abc1-9abc12345678';

Accorder un accès à Snowflake à la file d’attente de stockage¶

Notez que certaines étapes de cette section nécessitent une installation locale du logiciel Azure CLI.

1. Exécutez la commande DESCRIBE INTEGRATION pour récupérer l’URL de consentement :

   DESC NOTIFICATION INTEGRATION <integration_name>;
   

   Copy

   Où :

   • integration_name est le nom de l’intégration créée dans Créer l’intégration des notifications.

   Notez les valeurs dans les colonnes suivantes :

   AZURE_CONSENT_URL:

   URL vers la page de demande d’autorisations de Microsoft.

   AZURE_MULTI_TENANT_APP_NAME:

   Nom de l’application client Snowflake créée pour votre compte. Plus loin dans cette section, vous devrez accorder à cette application les autorisations nécessaires pour obtenir un jeton d’accès sur votre sujet autorisé.

2. Dans un navigateur Web, accédez à l’URL dans la colonne AZURE_CONSENT_URL . La page affiche une page de demande d’autorisations Microsoft.

3. Cliquez sur le bouton Accept. Cette action permet au principal du service Azure créé pour votre compte Snowflake d’obtenir un jeton d’accès sur n’importe quelle ressource à l’intérieur de votre client. L’obtention d’un jeton d’accès ne réussit que si vous accordez au principal du service les autorisations appropriées sur le conteneur (voir l’étape suivante).

   La page de demande d’autorisations Microsoft redirige vers le site d’entreprise de Snowflake (snowflake.com).

4. Connectez-vous au portail Microsoft Azure.

5. Accédez à Azure Active Directory » Enterprise applications. Vérifiez que l’identificateur de l’application Snowflake que vous avez enregistré à l’étape 2 de cette section est répertorié.

   Important

   Si vous supprimez l’application Snowflake dans Azure Active Directory plus tard, l’intégration des notifications cesse de fonctionner.

6. Accédez à Queues » storage_queue_name, où storage_queue_name est le nom de la file d’attente de stockage que vous avez créée dans Créer une file d’attente de stockage.

7. Cliquez sur Access Control (IAM) » Add role assignment.

8. Recherchez le principal de service Snowflake. Il s’agit de l’identité de la propriété AZURE_MULTI_TENANT_APP_NAME dans la sortie DESC NOTIFICATION INTEGRATION (à l’étape 1). Recherchez la chaîne avant le trait de soulignement dans la propriété AZURE_MULTI_TENANT_APP_NAME.

   Important

   • Azure peut prendre une heure ou plus pour créer le principal de service Snowflake demandé via la page de demande Microsoft dans cette section. Si le principal de service n’est pas disponible immédiatement, nous vous recommandons d’attendre une heure ou deux, puis de relancer la recherche.

   • Si vous supprimez le principal de service, l’intégration de notification cesse de fonctionner.

9. Accordez à l’application Snowflake les autorisations suivantes :

   • Role: Contributeur de données de la file de stockage

   • Assign access to: Principal de service, groupe ou utilisateur AD Azure

   • Select: La valeur appDisplayName.

   L’identificateur de l’application Snowflake devrait maintenant figurer dans la liste sous Storage Queue Data Contributor (dans la même boîte de dialogue).

Paramètres de la table de répertoire (directoryTable)¶

ENABLE = TRUE | FALSE

Spécifie s’il faut ajouter une table de répertoire à la zone de préparation. Lorsque la valeur est TRUE, une table de répertoire est créée avec la zone de préparation.

Par défaut : FALSE

AUTO_REFRESH = TRUE | FALSE

Spécifie si Snowflake doit activer le déclenchement des actualisations automatiques des métadonnées de la table de répertoire lorsque de nouveaux fichiers de données ou des fichiers de données mis à jour sont disponibles dans la zone de préparation externe nommée spécifiée dans le paramètre [ WITH ] LOCATION =.

TRUE

Snowflake permet de déclencher des actualisations automatiques des métadonnées de la table de répertoire.

FALSE

Snowflake n’active pas le déclenchement d’actualisations automatiques des métadonnées de la table de répertoire. Vous devez actualiser manuellement les métadonnées de la table de répertoire de façon périodique avec ALTER STAGE … REFRESH pour synchroniser les métadonnées avec la liste actuelle des fichiers dans le chemin de la zone de préparation.

Par défaut : FALSE

Microsoft Azure

NOTIFICATION_INTEGRATION = '<nom_intégration_notification>'

Spécifie le nom de l’intégration de notification utilisée pour actualiser automatiquement les métadonnées de la table de répertoire à l’aide des notifications Azure Event Grid. Une intégration de notification est un objet Snowflake qui fournit une interface entre Snowflake et des services tiers de mise en file d’attente de messages dans le Cloud.

L’exemple suivant crée une zone de préparation nommée mystage dans le schéma actif de la session utilisateur. L’URL de stockage Cloud inclut le chemin files. La zone de préparation fait référence à une intégration de stockage nommée my_storage_int.

USE SCHEMA mydb.public;

Copy

CREATE STAGE mystage
  URL='azure://myaccount.blob.core.windows.net/load/files/'
  STORAGE_INTEGRATION = my_storage_int
  DIRECTORY = (
    ENABLE = true
    AUTO_REFRESH = true
    NOTIFICATION_INTEGRATION = 'MY_NOTIFICATION_INT'
  );

Le paramètre NOTIFICATION_INTEGRATION fait référence à l’intégration my_notification_int créée à l’étape 2 : création de l’intégration des notifications. Le nom de l’intégration doit être fourni en majuscule.

Lorsque des fichiers de données nouveaux ou mis à jour sont ajoutés à l’emplacement de stockage dans le Cloud, la notification d’événement demande à Snowflake de les analyser dans les métadonnées de la table de répertoire.

Syntaxe¶

ALTER STAGE [ IF EXISTS ] <name> REFRESH [ SUBPATH = '<relative-path>' ]

Où :

REFRESH

Accède aux fichiers de données mis en zone de préparation, et référencés dans la définition de table de répertoire et met à jour les métadonnées de la table :

• Les nouveaux fichiers dans le chemin sont ajoutés aux métadonnées de la table.

• Les modifications apportées aux fichiers dans le chemin sont mises à jour dans les métadonnées de la table.

• Les fichiers qui ne figurent plus dans le chemin sont supprimés des métadonnées de la table.

Actuellement, il est nécessaire d’exécuter cette commande chaque fois que des fichiers sont ajoutés à la zone de préparation, mis à jour ou détruits. Cette étape synchronise les métadonnées avec le dernier ensemble de fichiers associés dans la définition de la zone de préparation pour la table de répertoire.

SUBPATH = '<relative-path>'

Spécifiez éventuellement un chemin relatif pour actualiser les métadonnées pour un sous-ensemble spécifique des fichiers de données.

Exemples¶

Actualiser manuellement les métadonnées de la table de répertoire dans une zone de préparation nommée mystage :

ALTER STAGE mystage REFRESH;