Configurer un volume externe pour des tables Iceberg¶

Étape 1 : Configurer des autorisations d’accès pour le compartiment S3¶

Étape 2 : Créer un rôle IAM dans AWS¶

Dans la console de gestion AWS, créez un rôle AWS IAM qui accorde des privilèges sur le compartiment S3 contenant vos fichiers de données.

1. Connectez-vous à la console de gestion AWS.

2. Dans le tableau de bord d’accueil, sélectionnez Identity & Access Management (IAM) :

   

3. Dans le volet de navigation de gauche, sélectionnez Roles.

4. Sélectionnez Create role.

   

5. Comme type d’entité de confiance, sélectionnez Another AWS account.

6. Dans le champ Account ID , saisissez votre propre ID de compte AWS. Dans une étape ultérieure, vous modifierez la relation de confiance et accorderez l’accès à Snowflake.

7. Sélectionnez l’option Require external ID. Un ID externe est utilisé pour accorder l’accès à vos ressources AWS (telles que des compartiments S3) à un tiers comme Snowflake.

   Saisissez un ID de type caractère générique tel que 0000. Dans une étape ultérieure, vous modifierez la relation de confiance de votre rôle IAM et spécifierez l’ID externe de votre volume externe.

8. Sélectionnez Next.

9. Recherchez la politique que vous avez créée dans Étape 1 : Configurer des autorisations d’accès pour le compartiment S3 et sélectionnez-la.

10. Sélectionnez Next.

    

11. Saisissez un nom et une description pour le rôle, puis sélectionnez Create role. Vous avez maintenant créé une politique IAM pour un compartiment, vous avez créé un rôle IAM et vous avez associé la politique au rôle.

12. Sur la page de synthèse du rôle, recherchez et enregistrez la valeur Role ARN. Vous utiliserez cette valeur à l’étape suivante pour créer un volume externe Snowflake référençant ce rôle.

    

Étape 3 : Accorder les privilèges requis pour le chiffrement SSE-KMS au rôle IAM (facultatif)¶

Pour charger un objet chiffré avec une clé KMS AWS sur Amazon S3, le rôle IAM que vous avez créé dans Étape 2 : Créer un rôle IAM dans AWS a besoin d’autorisations kms:GenerateDataKey sur la clé. Pour télécharger un objet chiffré avec une clé KMS AWS, le rôle IAM a besoin d’autorisations kms:Decrypt sur la clé.

Si vous souhaitez utiliser une clé KMS pour votre chiffrement côté serveur, procédez comme suit pour créer une clé et la référencer.

1. Dans la Console de gestion AWS, accédez au service KMS. Dans la navigation de gauche, sélectionnez Customer managed keys, puis Create key. Vous devez créer une clé dans la même région que celle de votre compartiment.

2. Créez un type de clé symétrique. Pour l’utilisation de la clé, sélectionnez Encrypt and decrypt. Sélectionnez Next.

3. Dans la case Alias, créez un nom pour la clé et sélectionnez Next.

4. Si nécessaire, indiquez un administrateur pour la clé et sélectionnez Next.

5. À l’étape Define key usage permissions, saisissez le nom de votre rôle IAM. Cochez la case en regard du rôle, puis sélectionnez Next.

6. Sélectionnez Finish pour créer la clé.

7. Recherchez la clé dans la liste des clés gérées par le client, sélectionnez-la et enregistrez son ARN. Voici un exemple d’ARN d’une clé : arn:aws:kms:us-west-2:111111122222:key/1a1a11aa-aa1a-aaa1a-a1a1-000000000000.

   Lorsque vous créez votre volume externe, définissez la valeur KMS_KEY_ID sur l’ARN de votre clé.

Étape 4 : Créer un volume externe dans Snowflake¶

Créez un volume externe via la commande CREATE EXTERNAL VOLUME.

L’exemple suivant crée un volume externe qui définit un emplacement de stockage Amazon S3 avec chiffrement :

CREATE OR REPLACE EXTERNAL VOLUME exvol
   STORAGE_LOCATIONS =
      (
         (
            NAME = 'my-s3-us-west-2'
            STORAGE_PROVIDER = 'S3'
            STORAGE_BASE_URL = 's3://MY_EXAMPLE_BUCKET/'
            STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::123456789012:role/myrole'
            ENCRYPTION=(TYPE='AWS_SSE_KMS' KMS_KEY_ID='arn:aws:kms:us-west-2:111111122222:key/1a1a11aa-aa1a-aaa1a-a1a1-000000000000')
         )
      );

Étape 5 : Récupérer l’utilisateur IAM AWS de votre compte Snowflake¶

1. Pour récupérer l’ARN de l’utilisateur IAM AWS automatiquement créé pour votre compte Snowflake, utilisez la commande DESCRIBE EXTERNAL VOLUME. Indiquez le nom du volume externe que vous avez créé précédemment.

   Par exemple :

   DESC EXTERNAL VOLUME exvol;
   

   Copy

2. Enregistrez les valeurs des propriétés suivantes :

   Propriété	Description
   STORAGE_AWS_IAM_USER_ARN	Utilisateur IAM AWS créé pour votre compte Snowflake, par exemple, arn:aws:iam::123456789001:user/abc1-b-self1234. Snowflake provisionne un seul utilisateur IAM pour l’intégralité de votre compte Snowflake. Tous les volumes externes S3 de votre compte utilisent cet utilisateur IAM.
   STORAGE_AWS_EXTERNAL_ID	ID externe que Snowflake utilise pour établir une relation de confiance avec AWS. Si vous n’avez pas spécifié d’ID externe (STORAGE_AWS_EXTERNAL_ID) lors de la création du volume externe, Snowflake génère un ID à utiliser.

   Vous fournirez ces valeurs à l’étape suivante.

Étape 6 : Accorder à l’utilisateur IAM des autorisations lui permettant d’accéder à des objets de compartiment¶

Dans cette étape, vous configurez les autorisations qui permettent à l’utilisateur IAM de votre compte Snowflake d’accéder aux objets de votre compartiment S3.

1. Connectez-vous à la console de gestion AWS.

2. Sélectionnez Identity & Access Management (IAM) :

   

3. Dans le volet de navigation de gauche, sélectionnez Roles.

4. Sélectionnez le rôle que vous avez créé dans Étape 2 : Créer un rôle IAM dans AWS.

5. Sélectionnez l’onglet Trust relationships.

6. Sélectionnez Edit trust relationship.

7. Modifiez le document de politique en y ajoutant les valeurs de sortie que vous avez enregistrées dans Étape 5 : Récupérer l’utilisateur IAM AWS de votre compte Snowflake :

   Document de politique pour le rôle IAM

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "",
         "Effect": "Allow",
         "Principal": {
           "AWS": "<snowflake_user_arn>"
         },
         "Action": "sts:AssumeRole",
         "Condition": {
           "StringEquals": {
             "sts:ExternalId": "<snowflake_external_id>"
           }
         }
       }
     ]
   }
   

   Copy

   Où :

   • snowflake_user_arn est la valeur STORAGE_AWS_IAM_USER_ARN que vous avez enregistrée.

   • snowflake_external_id est la valeur STORAGE_AWS_EXTERNAL_ID que vous avez enregistrée.

   Note

   Vous devez mettre à jour ce document de politique si vous créez un nouveau volume externe (ou si vous recréez un volume externe existant via la syntaxe CREATE OR REPLACE EXTERNAL VOLUME) et que vous ne fournissez pas votre propre ID externe. Pour des raisons de sécurité, un volume externe nouveau ou recréé a un ID externe différent et ne peut pas résoudre la relation de confiance à moins que vous ne mettiez à jour cette politique de confiance.

8. Sélectionnez Update Trust Policy. Les modifications sont enregistrées.

Prochaines étapes¶

Après avoir configuré un volume externe, vous pouvez créer une table Iceberg.

• Pour créer une table Iceberg en lecture seule qui utilise une intégration de catalogue, voir Configurer une intégration de catalogue pour des tables Iceberg.

• Pour créer une table Iceberg avec une prise en charge complète de la plateforme Snowflake, voir Créer une table Iceberg avec Snowflake comme catalogue.

Étape 1 : Créer un volume externe dans Snowflake¶

Créez un volume externe via la commande CREATE EXTERNAL VOLUME.

L’exemple suivant crée un volume externe qui définit un emplacement de stockage GCS avec chiffrement :

CREATE EXTERNAL VOLUME exvol
  STORAGE_LOCATIONS =
    (
      (
        NAME = 'my-us-east-1'
        STORAGE_PROVIDER = 'GCS'
        STORAGE_BASE_URL = 'gcs://mybucket1/path1/'
        ENCRYPTION=(TYPE='GCS_SSE_KMS' KMS_KEY_ID = '1234abcd-12ab-34cd-56ef-1234567890ab')
      )
    );

Étape 2 : Récupérer le compte de service Cloud Storage de votre compte Snowflake¶

Pour récupérer l’ID du compte de service Cloud Storage automatiquement créé pour votre compte Snowflake, utilisez la commande DESCRIBE EXTERNAL VOLUME. Indiquez le nom du volume externe que vous avez créé précédemment.

Par exemple :

DESC EXTERNAL VOLUME exvol;

Copy

Enregistrez la valeur de la propriété STORAGE_GCP_SERVICE_ACCOUNT dans la sortie (par exemple, service-account-id@project1-123456.iam.gserviceaccount.com).

Snowflake provisionne un seul compte de service Cloud Storage pour l’ensemble de votre compte Snowflake. Tous les volumes externes Google Cloud Storage utilisent ce compte de service.

Étape 3 : Accorder au compte de service des autorisations lui permettant d’accéder à des objets du compartiment¶

À cette étape, vous configurez les autorisations d’accès IAM pour Snowflake dans votre console Google Cloud Platform.

Prochaines étapes¶

Après avoir configuré un volume externe, vous pouvez créer une table Iceberg.

• Pour créer une table Iceberg en lecture seule qui utilise une intégration de catalogue, voir Configurer une intégration de catalogue pour des tables Iceberg.

• Pour créer une table Iceberg avec une prise en charge complète de la plateforme Snowflake, voir Créer une table Iceberg avec Snowflake comme catalogue.

Étape 1 : Créer un volume externe dans Snowflake¶

Créez un volume externe via la commande CREATE EXTERNAL VOLUME.

L’exemple suivant crée un volume externe qui définit un emplacement de stockage Azure avec chiffrement :

CREATE EXTERNAL VOLUME exvol
  STORAGE_LOCATIONS =
    (
      (
        NAME = 'my-azure-northeurope'
        STORAGE_PROVIDER = 'AZURE'
        STORAGE_BASE_URL = 'azure://exampleacct.blob.core.windows.net/my_container_northeurope/'
        AZURE_TENANT_ID = 'a123b4c5-1234-123a-a12b-1a23b45678c9'
      )
    );

Étape 2 : Accorder à Snowflake un accès à l’emplacement de stockage¶

1. Pour récupérer une URL vers la page de demande d’autorisations Microsoft, utilisez la commande DESCRIBE EXTERNAL VOLUME. Indiquez le nom du volume externe que vous avez créé précédemment.

   DESC EXTERNAL VOLUME exvol;
   

   Copy

   Enregistrez les valeurs des propriétés suivantes :

   Propriété	Description
   AZURE_CONSENT_URL	URL vers la page de demande d’autorisations de Microsoft.
   AZURE_MULTI_TENANT_APP_NAME	Nom de l’application client Snowflake créée pour votre compte. Ultérieurement dans cette section, vous accorderez à cette application l’autorisation nécessaire pour obtenir un jeton d’accès sur votre emplacement de stockage autorisé.

   Vous utiliserez ces valeurs dans les étapes suivantes.

2. Dans un navigateur web, accédez à la page de demande d’autorisations Microsoft (l”AZURE_CONSENT_URL).

3. Sélectionnez Accept. Cette action permet au principal du service Azure créé pour votre compte Snowflake d’obtenir un jeton d’accès sur n’importe quelle ressource à l’intérieur de votre client. L’obtention d’un jeton d’accès ne réussit que si vous accordez au principal du service les autorisations appropriées sur le conteneur (voir l’étape suivante).

   La page de demande d’autorisations Microsoft redirige vers le site d’entreprise de Snowflake (snowflake.com).

4. Connectez-vous au portail Microsoft Azure.

5. Allez à Azure Services » Storage Accounts. Sélectionnez le nom du compte de stockage auquel vous souhaitez accorder l’accès au principal du service Snowflake.

   Note

   Vous devez définir des autorisations IAM pour un volume externe au niveau du compte de stockage, et non au niveau du conteneur.

6. Sélectionnez Access Control (IAM) » Add role assignment.

7. Sélectionnez le rôle Storage Blob Data Contributor pour accorder un accès en lecture et en écriture au principal du service Snowflake.

   Note

   Le rôle Storage Blob Data Contributor permet d’accéder en écriture à l’emplacement du volume externe. Pour une configuration complète de l’accès en écriture, le paramètre ALLOW_WRITES du volume externe doit être défini sur TRUE (la valeur par défaut).

8. Recherchez le principal du service Snowflake. Il s’agit de l’identité de la propriété AZURE_MULTI_TENANT_APP_NAME dans la sortie DESC EXTERNAL VOLUME (à l’étape 1). Recherchez la chaîne avant le trait de soulignement dans la propriété AZURE_MULTI_TENANT_APP_NAME.

   Important

   • Azure peut prendre une heure ou plus pour créer le principal de service Snowflake demandé via la page de demande Microsoft dans cette section. Si le principal du service n’est pas disponible immédiatement, attendez une heure ou deux, puis relancez la recherche.

   • Si vous supprimez le principal du service, le volume externe cesse de fonctionner.

   

9. Sélectionnez Review + assign.

   Note

   Lors de l’attribution d’un rôle, il faut compter jusqu’à 10 minutes pour que les modifications soient prises en compte. Pour plus d’informations, voir Symptôme - Les changements d’attribution de rôle ne sont pas détectés dans la documentation Microsoft Azure.

Prochaines étapes¶

Après avoir configuré un volume externe, vous pouvez créer une table Iceberg.

• Pour créer une table Iceberg en lecture seule qui utilise une intégration de catalogue, voir Configurer une intégration de catalogue pour des tables Iceberg.

• Pour créer une table Iceberg avec une prise en charge complète de la plateforme Snowflake, voir Créer une table Iceberg avec Snowflake comme catalogue.

Exemple¶

L’instruction suivante définit un volume externe (my_s3_vol) pour une base de données nommée my_database_1 :

ALTER DATABASE my_database_1
  SET EXTERNAL_VOLUME = 'my_s3_vol';

Après avoir défini un volume externe au niveau de la base de données, vous pouvez créer une table Iceberg dans cette base de données sans spécifier de volume externe. L’instruction suivante crée une table Iceberg dans my_database_1 qui utilise Snowflake comme catalogue et le volume externe par défaut (my_s3_vol) défini pour la base de données.

CREATE ICEBERG TABLE iceberg_reviews_table (
  id STRING,
  product_name STRING,
  product_id STRING,
  reviewer_name STRING,
  review_date DATE,
  review STRING
)
CATALOG = 'SNOWFLAKE'
BASE_LOCATION = 'my/product_reviews/';