Configuration du stockage S3 pour pg_lake¶

Conditions préalables¶

Avant de configurer le stockage S3 pour pg_lake, assurez-vous que vous disposez des éléments suivants :

• Un compte AWS actif doté d’autorisations pour créer et gérer des `compartiments S3<https://docs.aws.amazon.com/AmazonS3/latest/userguide/creating-buckets-s3.html>`_ et des rôles IAM.

• Un compartiment S3 dans la même région AWS que votre compte Snowflake. Pour déterminer la région de votre compte Snowflake, exécutez la requête suivante dans Snowflake (et non sur votre instance Postgres) :

  SELECT CURRENT_REGION();
  

  Copy

• Une connaissance des rôles et politiques AWS IAM.

• Une instance Snowflake Postgres avec prise en charge de pg_lake.

• Des privilèges pour créer des intégrations de stockage dans Snowflake (nécessite le rôle ACCOUNTADMIN ou un rôle disposant du privilège CREATE INTEGRATION sur le compte).

Étape 1 : Créer un compartiment S3¶

Si vous n’en avez pas déjà un, créez un compartiment S3 dans la même région AWS que votre compte Snowflake. Par exemple, si votre compte Snowflake est situé dans la région us-west-2, créez le compartiment S3 dans la région us-west-2.

Reportez-vous à la documentation AWS pour obtenir des instructions sur la `création d’un compartiment S3<https://docs.aws.amazon.com/AmazonS3/latest/userguide/creating-buckets-s3.html>`_.

Étape 2 : Créer une politique IAM relative à l’accès à S3¶

Créer une politique IAM qui accorde les autorisations nécessaires pour pg_lake à la lecture et à l’écriture dans votre compartiment S3 :

1. Connectez-vous à la console de gestion AWS et accédez au service IAM.

2. Dans le volet de navigation de gauche, sélectionnez Account settings.

3. Dans Security Token Service (STS) dans la liste des points de terminaison, recherchez la région Snowflake dans laquelle se trouve votre compte. Si le statut STS est inactif, placez la bascule sur Active. Pour plus d’informations, voir Activation et désactivation de AWS STS dans une région AWS.

4. Dans le volet de navigation de gauche, sélectionnez Policies, puis Create policy.

5. Pour Policy editor, sélectionnez JSON.

6. Ajoutez le document de politique qui permet à Snowflake d’accéder au compartiment et au dossier S3. Remplacez le bucket_name et le prefix par votre nom de compartiment actuel et le préfixe du chemin d’accès au dossier :

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:PutObject",
                   "s3:GetObject",
                   "s3:GetObjectVersion",
                   "s3:DeleteObject",
                   "s3:DeleteObjectVersion"
               ],
               "Resource": "arn:aws:s3:::bucket_name/prefix/*"
           },
           {
               "Effect": "Allow",
               "Action": [
                   "s3:ListBucket",
                   "s3:GetBucketLocation"
               ],
               "Resource": "arn:aws:s3:::bucket_name",
               "Condition": {
                   "StringLike": {
                       "s3:prefix": [
                           "prefix/*"
                       ]
                   }
               }
           }
       ]
   }
   

   Copy

   Cette politique accorde les autorisations suivantes :

   • Lire, écrire et supprimer des objets dans le chemin S3 spécifié

   • Lister le contenu du compartiment et récupérer l’emplacement du compartiment

   • Prise en charge de la capacité de pg_lake à créer et à gérer des tables Iceberg

7. Choisissez Next.

8. Saisissez un nom de politique (par exemple, snowflake_pg_lake_access) et une description facultative.

9. Choisissez Create policy.

Étape 3 : Création d’un rôle IAM¶

Créez un rôle IAM que Snowflake assumera pour accéder à votre compartiment S3.

1. Dans le volet de navigation gauche du tableau de bord de la gestion des identités et des accès (IAM), sélectionnez Roles.

2. Sélectionnez Create role.

3. Sélectionnez AWS account comme type d’entité de confiance.

4. Sélectionnez Another AWS account.

5. Dans le champ Account ID saisissez votre propre AWS de compte ID temporaire. Vous modifierez la relation de confiance dans une étape ultérieure et accorderez l’accès à Snowflake.

6. Sélectionnez l’option Require external ID. Saisissez un ID externe temporaire tel que 0000. Vous le mettrez à jour avec l’ID externe actuel généré par Snowflake dans une étape ultérieure.

   Note

   Un ID externe est utilisé pour accorder l’accès à vos ressources AWS (telles que des compartiments S3) à un tiers comme Snowflake. Pour plus d’informations, voir Comment utiliser un ID externe lorsque vous accordez l’accès à vos ressources AWS à un tiers.

7. Sélectionnez Next.

8. Recherchez et sélectionnez la politique que vous avez créée à l’étape 2 : Créez une politique IAM d’accès à S3.

9. Sélectionnez Next.

10. Saisissez un nom et une description pour le rôle (par exemple, snowflake_pg_lake_role), puis sélectionnez Create role.

11. Sur la page de synthèse du rôle, recherchez et enregistrez la valeur Role ARN. Vous en aurez besoin lors de la création de l’intégration de stockage dans Snowflake.

12. Lorsque vous êtes sur la page de résumé du rôle, sélectionnez Edit dans la section du résumé et modifiez la Maximum session duration sur 12 hours. Sélectionnez Save changes. Pour plus d’informations, voir Modification de la durée de session maximale d’un rôle (AWS).

Étape 4 : Créer une intégration de stockage dans Snowflake¶

Créez un objet d’intégration de stockage dans Snowflake qui fait référence au rôle IAM que vous avez créé. Pour la syntaxe complète de la commande, voir CREATE STORAGE INTEGRATION.

CREATE STORAGE INTEGRATION my_pg_lake_integration
  TYPE = POSTGRES_EXTERNAL_STORAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::123456789012:role/snowflake_pg_lake_role'
  STORAGE_ALLOWED_LOCATIONS = ('s3://my-bucket/my-prefix/');

Où :

• my_pg_lake_integration est le nom que vous choisissez pour l’intégration de stockage.

• TYPE = POSTGRES_EXTERNAL_STORAGE spécifie que cette intégration est à utiliser avec Snowflake Postgres.

• STORAGE_AWS_ROLE_ARN est l’ARN du rôle vous avez enregistré à l’étape 3 : Créez un rôle IAM.

• STORAGE_ALLOWED_LOCATIONS spécifie le compartiment S3 et le préfixe de chemin. Remplacez my-bucket et my-prefix avec le nom du compartiment et le chemin du dossier que vous avez créés à l’étape 1 : Créez un compartiment S3. Notez qu’un seul emplacement est autorisé pour les intégrations de stockage Postgres.

Étape 5 : Récupération de l’ARN utilisateur Snowflake IAM et de l’ID externe¶

Après avoir créé l’intégration de stockage, utilisez la commande DESCRIBE INTEGRATION pour récupérer l’ID utilisateur AWS IAM et externe que Snowflake a généré pour cette intégration :

DESCRIBE STORAGE INTEGRATION my_pg_lake_integration;

Dans la sortie, recherchez et enregistrez les valeurs suivantes :

• STORAGE_AWS_IAM_USER_ARN : L’ARN utilisateur IAM que Snowflake utilisera pour assumer le rôle

• STORAGE_AWS_EXTERNAL_ID : L’ID externe à utiliser dans la politique de confiance

Vous utiliserez ces valeurs à l’étape suivante pour configurer la politique de confiance du rôle IAM.

Étape 6 : Mettre à jour la politique de confiance du rôle IAM¶

Mettez à jour la politique de confiance du rôle IAM que vous avez créée à l’étape 3 : Créez un rôle IAM pour permettre à Snowflake d’assumer le rôle :

1. Connectez-vous à la console de gestion AWS et accédez au service IAM.

2. Dans le volet de navigation de gauche, sélectionnez Roles.

3. Sélectionnez le rôle que vous avez créé à l’étape 3 : Créez un rôle IAM.

4. Sélectionnez l’onglet Trust relationships.

5. Sélectionnez Edit trust policy.

6. Remplacez le document de politique par le texte suivant :

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "AWS": "<storage_aws_iam_user_arn>"
               },
               "Action": "sts:AssumeRole",
               "Condition": {
                   "StringEquals": {
                       "sts:ExternalId": "<storage_aws_external_id>"
                   }
               }
           }
       ]
   }
   

   Copy

   Remplacez les valeurs par défaut par les valeurs que vous avez enregistrées à l’étape 5 : Récupérez l’ARN utilisateur Snowflake IAM et l’ID externe :

   • Remplacez storage_aws_iam_user_arn par la valeur STORAGE_AWS_IAM_USER_ARN. Il s’agit d’un ARN complet sous la forme arn:aws:iam::<account_id>:user/snowflake-postgres-integration-management, où le nom d’utilisateur est toujours le même et seulement l’ID de compte AWS varie.

   • Remplacez storage_aws_external_id par la valeur STORAGE_AWS_EXTERNAL_ID.

7. Sélectionnez Update policy pour enregistrer les modifications.

Étape 7 : Joindre l’intégration de stockage à votre instance Postgres¶

Associez l’intégration de stockage à votre instance Snowflake Postgres. Lorsque l’intégration de stockage est associée, les identifiants S3 sont automatiquement synchronisés avec le plan de contrôle Postgres et mis à la disposition de pg_lake :

ALTER POSTGRES INSTANCE my_postgres_instance
  SET STORAGE_INTEGRATION = my_pg_lake_integration;

Vous pouvez également spécifier l’intégration de stockage lors de la création d’une nouvelle instance Postgres :

CREATE POSTGRES INSTANCE my_postgres_instance
  ...
  STORAGE_INTEGRATION = my_pg_lake_integration;

Pour supprimer une intégration de stockage d’une instance Postgres :

ALTER POSTGRES INSTANCE my_postgres_instance
  UNSET STORAGE_INTEGRATION;

Étape 8 : Configurer et utiliser pg_lake¶

Après avoir associé l’intégration de stockage, connectez-vous à votre instance Postgres et configurez pg_lake. Pour une liste des extensions disponibles, voir Extensions Snowflake Postgres.

1. Créez l’extension pg_lake :

   CREATE EXTENSION pg_lake CASCADE;
   

   Copy

2. Définissez l’emplacement de stockage par défaut des tables Iceberg. Il doit correspondre à l’emplacement spécifié dans votre intégration de stockage.

   La commande SET ne s’applique qu’à la session en cours :

   SET pg_lake_iceberg.default_location_prefix = 's3://my-bucket/my-prefix';
   

   Copy

   Pour définir la valeur pour toutes les sessions actuelles et futures, utilisez plutôt la commande ALTER DATABASE. Si vous utilisez plusieurs bases de données Postgres, assurez-vous de définir l’emplacement de stockage pour chaque base de données :

   -- Substitute the name of your database
   ALTER DATABASE my_database SET pg_lake_iceberg.default_location_prefix = 's3://my-bucket/my-prefix';
   

   Copy

3. Vérifiez que l’intégration de stockage est configurée correctement en listant le contenu de votre compartiment S3 :

   SELECT * FROM lake_file.list('s3://my-bucket/my-prefix/*');
   

   Copy

   Remplacez my-bucket et my-prefix par le nom et le chemin de votre compartiment. Si la configuration est correcte, cette requête renvoie une liste de fichiers à cet emplacement. Si le compartiment est vide, la requête renvoie un jeu de résultats vide sans erreur.

4. Vérifiez la configuration de bout en bout en créant une table Iceberg, en insérant des données et en l’interrogeant à nouveau. Si cela réussit, pg_lake peut lire et écrire dans votre compartiment S3 :

   CREATE TABLE my_table (
       id INT,
       data TEXT
     ) USING iceberg;
   
   INSERT INTO my_table VALUES (1, 'hello iceberg');
   
   SELECT * FROM my_table;
   

   Copy

Remarques relatives à la sécurité¶

Lors de la configuration de l’accès S3 pour pg_lake, gardez à l’esprit les bonnes pratiques en matière de sécurité suivantes :

• Utilisez les rôles IAM : Snowflake Postgres utilise l’assomption de rôle IAM plutôt que des informations d’identification statiques, offrant ainsi une meilleure sécurité grâce à des informations d’identification temporaires et à une rotation automatique des informations d’identification.

• Limitez les autorisations IAM : Accordez uniquement les autorisations minimales nécessaires aux chemins de compartiment S3 auxquels pg_lake doit accéder. La politique IAM doit restreindre l’accès à des préfixes de compartiment spécifiques.

• Vérifiez l’ID externe : L’ID externe dans la politique de confiance garantit que seul votre compte Snowflake peut assumer le rôle IAM.

• Examinez les modifications de l’intégration de stockage : Toute mise à jour de STORAGE_AWS_ROLE_ARN ou STORAGE_ALLOWED_LOCATIONS de l’intégration de stockage est automatiquement synchronisée avec l’instance Postgres.

• Utilisez les politiques de compartiment : Envisagez d’utiliser des politiques de compartiment S3 en plus des politiques IAM pour une défense en profondeur.

• Activez la journalisation des accès S3 : Activez la journalisation des accès sur votre compartiment S3 pour surveiller et auditer les modèles d’accès.

• Alignement régional : Assurez-vous que votre compartiment S3 est situé dans la même région AWS que votre compte Snowflake pour des performances optimales et pour répondre aux exigences en matière de propriété des données.

Résolution des problèmes¶

Informations connexes¶

• Option 1: Configure a Snowflake storage integration to access Amazon S3 — Flux de travail d’accès S3 similaire à celui décrit dans cette rubrique

• Tables Apache Iceberg™ — Aperçu de la prise en charge des tables Iceberg dans Snowflake

• Création d’une table Apache Iceberg™ dans Snowflake — Création de tables Iceberg à partir de différentes sources de catalogue

• Configurer un volume externe — Configuration d’un volume externe pour des tables Iceberg

• Configurer une intégration de catalogue pour des fichiers dans le stockage d’objets — Configuration de l’intégration de catalogue pour les fichiers dans le stockage d’objets

• Documentation sur l’extension pg_lake