Automatisation de Snowpipe pour Amazon S3¶

Étape 1 : Configuration des autorisations d’accès pour le compartiment S3¶

Étape 2 : Créer le rôle IAM dans AWS¶

Dans la console de gestion AWS, créez un rôle AWS IAM qui accorde des privilèges sur le compartiment S3 contenant vos fichiers de données.

1. Connectez-vous à la console de gestion AWS.

2. Dans le tableau de bord d’accueil, sélectionnez Identity & Access Management (IAM) :

   

3. Cliquez sur Roles dans le volet de navigation de gauche.

4. Cliquez sur le bouton Create role.

   

5. Sélectionnez Another AWS account comme type d’entité de confiance.

6. Dans le champ Account ID, entrez votre propre ID de compte AWS temporaire. Plus tard, vous modifierez la relation de confiance et accorderez l’accès à Snowflake.

7. Sélectionnez l’option Require external ID. Entrez un ID fictif tel que 0000. Plus tard, vous modifierez la relation de confiance et spécifierez l’ID externe pour votre zone de préparation Snowflake. Un ID externe est requis pour accorder l’accès à vos ressources AWS (c.-à-d. S3) à un tiers (p. ex Snowflake).

8. Cliquez sur le bouton Next.

9. Localisez la politique que vous avez créée lors de l” étape 1 : Configuration des autorisations d’accès au compartiment S3 (dans ce chapitre), puis sélectionnez cette stratégie.

10. Cliquez sur le bouton Next.

    

11. Entrez un nom et une description pour le rôle et cliquez sur le bouton Create role.

    Vous avez maintenant créé une stratégie IAM pour un compartiment, créé un rôle IAM et associé la stratégie au rôle.

12. Enregistrez la valeur Role ARN située sur la page de résumé du rôle. Dans l’étape suivante, vous créerez une intégration Snowflake qui fait référence à ce rôle.

    

Étape 3 : Création d’une intégration Cloud Storage dans Snowflake¶

Créez une intégration de stockage à l’aide de la commande CREATE STORAGE INTEGRATION. Une intégration de stockage est un objet Snowflake qui stocke un utilisateur généré pour la gestion d’identité et d’accès (IAM) pour votre stockage Cloud S3, ainsi qu’un ensemble facultatif d’emplacements de stockage autorisés ou bloqués (c.-à-d. des compartiments). Les administrateurs de fournisseur de Cloud de votre entreprise accordent des autorisations sur les emplacements de stockage à l’utilisateur généré. Cette option permet aux utilisateurs d’éviter de fournir des informations d’identification lors de la création de zones de préparation ou du chargement de données.

Une seule intégration de stockage peut prendre en charge plusieurs zones de préparation externes (c’est-à-dire S3). L’URL dans la définition de zone de préparation doit correspondre aux compartiments S3 (et aux chemins facultatifs) spécifiés pour le paramètre STORAGE_ALLOWED_LOCATIONS.

CREATE STORAGE INTEGRATION <integration_name>
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = '<iam_role>'
  STORAGE_ALLOWED_LOCATIONS = ('s3://<bucket>/<path>/', 's3://<bucket>/<path>/')
  [ STORAGE_BLOCKED_LOCATIONS = ('s3://<bucket>/<path>/', 's3://<bucket>/<path>/') ]

Où :

• integration_name est le nom de la nouvelle intégration.

• iam_role est le nom Amazon Resource Name (ARN) du rôle que vous avez créé à l’ étape 2 : Création du rôle IAM AWS (dans ce chapitre).

• bucket est le nom d’un compartiment S3 qui stocke vos fichiers de données (par exemple, mybucket). Les paramètres STORAGE_ALLOWED_LOCATIONS requis et STORAGE_BLOCKED_LOCATIONS facultatif limitent ou bloquent l’accès à ces compartiments, respectivement, lors de la création ou de la modification de zones de préparation faisant référence à cette intégration.

• path est un chemin facultatif qui peut être utilisé pour fournir un contrôle granulaire sur les objets du compartiment.

L’exemple suivant crée une intégration qui limite explicitement les zones de préparation externes utilisant l’intégration pour faire référence à l’un des deux compartiments et des chemins. Dans une étape ultérieure, nous allons créer une zone de préparation externe qui fait référence à l’un de ces compartiments et chemins.

Les zones de préparation externes supplémentaires qui utilisent également cette intégration peuvent faire référence aux compartiments et aux chemins autorisés :

CREATE STORAGE INTEGRATION s3_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::001234567890:role/myrole'
  STORAGE_ALLOWED_LOCATIONS = ('s3://mybucket1/mypath1/', 's3://mybucket2/mypath2/')
  STORAGE_BLOCKED_LOCATIONS = ('s3://mybucket1/mypath1/sensitivedata/', 's3://mybucket2/mypath2/sensitivedata/');

Copy

Étape 4 : Récupération de l’utilisateur AWS IAM de votre compte Snowflake¶

1. Exécutez la commande DESCRIBE INTEGRATION pour récupérer l’ARN de l’utilisateur AWS IAM créé automatiquement pour votre compte Snowflake :

   DESC INTEGRATION <integration_name>;
   

   Copy

   Où :

   • integration_name est le nom de l’intégration créée à l”étape 3 : Création d’une intégration Cloud Storage dans Snowflake (ce chapitre).

   Par exemple :

   DESC INTEGRATION s3_int;
   
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------+
   | property                  | property_type | property_value                                                                 | property_default |
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------|
   | ENABLED                   | Boolean       | true                                                                           | false            |
   | STORAGE_ALLOWED_LOCATIONS | List          | s3://mybucket1/mypath1/,s3://mybucket2/mypath2/                                | []               |
   | STORAGE_BLOCKED_LOCATIONS | List          | s3://mybucket1/mypath1/sensitivedata/,s3://mybucket2/mypath2/sensitivedata/    | []               |
   | STORAGE_AWS_IAM_USER_ARN  | String        | arn:aws:iam::123456789001:user/abc1-b-self1234                                 |                  |
   | STORAGE_AWS_ROLE_ARN      | String        | arn:aws:iam::001234567890:role/myrole                                          |                  |
   | STORAGE_AWS_EXTERNAL_ID   | String        | MYACCOUNT_SFCRole=2_a123456/s0aBCDEfGHIJklmNoPq=                               |                  |
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------+
   

   Copy

2. Notez les valeurs suivantes :

   Valeur	Description
   STORAGE_AWS_IAM_USER_ARN	L’utilisateur AWS IAM créé pour votre compte Snowflake, arn:aws:iam::123456789001:user/abc1-b-self1234 dans cet exemple. Nous mettons à disposition un seul utilisateur IAM pour l’intégralité de votre compte Snowflake. Toutes les intégrations de stockage S3 utilisent cet utilisateur IAM.
   STORAGE_AWS_EXTERNAL_ID	L’ID externe nécessaire pour établir une relation de confiance.

   Vous fournirez ces valeurs dans la section suivante.

Étape 5 : Octroi des autorisations utilisateur à IAM pour accéder à des objets de compartiment¶

Les instructions étape par étape suivantes décrivent comment configurer les permissions d’accès IAM pour Snowflake dans votre console de gestion AWS de sorte que vous puissiez utiliser un compartiment S3 pour charger et décharger les données :

1. Connectez-vous à la console de gestion AWS.

2. Dans le tableau de bord d’accueil, sélectionnez Identity & Access Management (IAM) :

   

3. Cliquez sur Roles dans le volet de navigation de gauche.

4. Cliquez sur le rôle que vous avez créé à l”étape 2 : Créer le rôle IAM dans AWS (dans ce chapitre).

5. Cliquez sur l’onglet Trust relationships.

6. Cliquez sur le bouton Edit trust relationship.

7. Modifiez le document de politique avec les valeurs de sortie DESC STORAGE INTEGRATION que vous avez enregistrées dans l” étape 4 : Récupération de l’utilisateur AWS IAM de votre compte Snowflake (dans ce chapitre) :

   Document de politique pour le rôle IAM

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "",
         "Effect": "Allow",
         "Principal": {
           "AWS": "<snowflake_user_arn>"
         },
         "Action": "sts:AssumeRole",
         "Condition": {
           "StringEquals": {
             "sts:ExternalId": "<snowflake_external_id>"
           }
         }
       }
     ]
   }
   

   Copy

   Où :

   • snowflake_user_arn est la valeur STORAGE_AWS_IAM_USER_ARN que vous avez enregistrée.

   • snowflake_external_id est la valeur STORAGE_AWS_EXTERNAL_ID que vous avez enregistrée.

     Dans cet exemple, la valeur snowflake_external_id est MYACCOUNT_SFCRole=2_a123456/s0aBCDEfGHIJklmNoPq=.

     Note

     Pour des raisons de sécurité, si vous créez une nouvelle intégration de stockage (ou recréez une intégration de stockage existante à l’aide de la syntaxe CREATE OR REPLACE STORAGE INTEGRATION), l’intégration résultante a un ID externe différent et ne pourra donc résoudre la relation de confiance sauf si la politique de confiance est modifiée.

8. Cliquez sur le bouton Update Trust Policy. Les modifications sont enregistrées.

Étape 1 : créer une zone de préparation (si nécessaire)¶

Créez une zone de préparation externe qui fait référence à votre compartiment S3 à l’aide de la commande CREATE STAGE. Snowpipe va chercher vos fichiers de données dans la zone de préparation et les mettre temporairement en file d’attente avant de les charger dans votre table cible. Vous pouvez aussi utiliser une zone de préparation externe.

L’exemple suivant crée une zone de préparation nommée mystage dans le schéma actif de la session utilisateur. L’URL de stockage Cloud inclut le chemin files. La zone de préparation fait référence à une intégration de stockage nommée my_storage_int :

USE SCHEMA snowpipe_db.public;

CREATE STAGE mystage
  URL = 's3://mybucket/load/files'
  STORAGE_INTEGRATION = my_storage_int;

Copy

Étape 2 : créer un canal avec l’intégration automatique activée¶

Créez un canal à l’aide de la commande CREATE PIPE. Le canal définit l’instruction COPY INTO <table> utilisée par Snowpipe pour charger les données de la file d’attente d’acquisition dans la table cible.

L’exemple suivant crée un canal nommé mypipe dans le schéma actif de la session utilisateur. Le canal charge toutes les données des fichiers mis dans la zone de préparation mystage dans la table mytable :

create pipe snowpipe_db.public.mypipe auto_ingest=true as
  copy into snowpipe_db.public.mytable
  from @snowpipe_db.public.mystage
  file_format = (type = 'JSON');

Copy

Le paramètre AUTO_INGEST=true spécifie qu’il faut lire les notifications d’événements envoyées d’un compartiment S3 à une file d’attente SQS lorsque de nouvelles données sont prêtes à être chargées.

Étape 3 : Configurer la sécurité¶

Pour chaque utilisateur qui exécutera des chargements de données continus avec Snowpipe, accordez suffisamment de privilèges aux objets pour la charge de données (c’est-à-dire la base de données, le schéma et la table cibles).

L’utilisation de Snowpipe nécessite un rôle avec les privilèges suivants :

Utilisez la commande GRANT <privilèges> pour accorder ces privilèges au rôle.

Par exemple, créez un rôle nommé snowpipe_role qui peut accéder à un ensemble d”snowpipe_db.public objets de base de données ainsi qu’à un canal nommé mypipe ; puis, accordez le rôle à un utilisateur :

-- Create a role to contain the Snowpipe privileges
use role securityadmin;

create or replace role snowpipe_role;

-- Grant the required privileges on the database objects
grant usage on database snowpipe_db to role snowpipe_role;

grant usage on schema snowpipe_db.public to role snowpipe_role;

grant insert, select on snowpipe_db.public.mytable to role snowpipe_role;

grant usage on stage snowpipe_db.public.mystage to role snowpipe_role;

-- Pause the pipe for OWNERSHIP transfer
alter pipe mypipe SET PIPE_EXECUTION_PAUSED = true;

-- Grant the OWNERSHIP privilege on the pipe object
grant ownership on pipe snowpipe_db.public.mypipe to role snowpipe_role;

-- Grant the role to a user
grant role snowpipe_role to user jsmith;

-- Set the role as the default role for the user
alter user jsmith set default_role = snowpipe_role;

-- Resume the pipe
alter pipe mypipe SET PIPE_EXECUTION_PAUSED = false;

Copy

Étape 4 : Configurer des notifications d’événement¶

Configurez les notifications d’événement pour votre compartiment S3 afin d’avertir Snowpipe lorsque de nouvelles données sont disponibles au chargement. La fonction d’intégration automatique repose sur des files d’attente SQS pour transmettre des notifications d’événement de S3 à Snowpipe.

Pour faciliter les choses, les files d’attente SQS de Snowpipe sont créées et gérées par Snowflake. Le résultat de la commande SHOW PIPES affiche le nom de ressource Amazon (ARN) de votre file d’attente SQS.

1. Exécutez la commande SHOW PIPES :

   SHOW PIPES;
   

   Copy

   Notez l’ARN de la file d’attente SQS pour la zone de préparation de la colonne notification_channel. Copiez l’ARN dans un emplacement approprié.

   Note

   Conformément aux consignes d’AWS, Snowflake ne désigne pas plus d’une file d’attente SQS par compartiment S3. Cette file d’attente SQS peut être partagée entre plusieurs compartiments du même compte AWS. La file d’attente SQS coordonne les notifications pour tous les canaux connectant les zones de préparation externes du compartiment S3 aux tables cibles. Lorsqu’un fichier de données est chargé dans le compartiment, tous les canaux correspondant au chemin du répertoire de la zone de préparation effectuent un chargement unique du fichier dans les tables cibles correspondantes.

2. Connectez-vous à la console Amazon S3.

3. Configurez une notification d’événement pour votre compartiment S3 à l’aide des instructions fournies dans la documentation Amazon S3. Remplissez les champs comme suit :

   • Name : nom de la notification d’événement (par exemple Auto-ingest Snowflake).

   • Events : sélectionnez l’option ObjectCreate (All).

   • Send to : sélectionnez SQS Queue dans la liste déroulante.

   • SQS : sélectionnez Add SQS queue ARN dans la liste déroulante.

   • SQS queue ARN : collez le nom de la file d’attente SQS à partir de la sortie SHOW PIPES.

Snowpipe avec l’intégration automatique est maintenant configuré !

Lorsque de nouveaux fichiers de données sont ajoutés au compartiment S3, la notification d’événement indique à Snowpipe de les charger dans la table cible définie dans le canal.

Étape 5 : Charger des fichiers historiques¶

Pour charger les retards de traitement des fichiers de données qui existaient dans la zone de préparation externe avant que les notifications SQS aient été configurées, voir Chargement de données historiques.

Étape 6 : Supprimer les fichiers en zone de préparation¶

Supprimez les fichiers en zone de préparation après avoir chargé avec succès les données et lorsque vous n’avez plus besoin des fichiers. Pour obtenir des instructions, voir Suppression des fichiers en zone de préparation après le chargement des données par Snowpipe.

Conditions préalables : Créer un sujet et un abonnement Amazon SNS¶

1. Créez un sujet SNS dans votre compte AWS pour gérer tous les messages de l’emplacement de zone de préparation Snowflake sur votre compartiment S3.

2. Souscrivez vos destinations cibles aux notifications d’événement S3 (par exemple, autres files d’attente SQS ou charges de travail Lambda AWS) à cette rubrique. SNS publie des notifications d’événement pour votre compartiment à tous les abonnés du sujet.

Pour obtenir des instructions, reportez-vous à la documentation SNS.

Étape 1 : S’abonner à la file d’attente SQS de Snowflake dans le sujet SNS¶

1. Connectez-vous à la console de gestion AWS.

2. Dans le tableau de bord d’accueil, sélectionnez Simple Notification Service (SNS).

3. Cliquez sur Topics dans le volet de navigation de gauche.

4. Recherchez le sujet de votre compartiment S3. Notez le sujet ARN.

5. À l’aide d’un client Snowflake, interrogez la fonction système SYSTEM$GET_AWS_SNS_IAM_POLICY avec l’ARN de votre sujet SNS :

   select system$get_aws_sns_iam_policy('<sns_topic_arn>');
   

   Copy

   La fonction renvoie une stratégie IAM accordant à la file d’attente SQS de Snowflake l’autorisation de s’abonner au sujet SNS.

   Par exemple :

   select system$get_aws_sns_iam_policy('arn:aws:sns:us-west-2:001234567890:s3_mybucket');
   
   +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   | SYSTEM$GET_AWS_SNS_IAM_POLICY('ARN:AWS:SNS:US-WEST-2:001234567890:S3_MYBUCKET')                                                                                                                                                                   |
   +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   | {"Version":"2012-10-17","Statement":[{"Sid":"1","Effect":"Allow","Principal":{"AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234"},"Action":["sns:Subscribe"],"Resource":["arn:aws:sns:us-west-2:001234567890:s3_mybucket"]}]}                 |
   +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   

   Copy

6. Revenez à la console de gestion AWS. Cliquez sur Topics dans le volet de navigation de gauche.

7. Sélectionnez le sujet de votre compartiment S3 et cliquez sur le bouton Edit. La page Edit s’ouvre.

8. Cliquez sur Access policy - Optional pour développer cette zone de la page.

9. Fusionnez l’ajout de stratégie IAM des résultats de la fonction SYSTEM$GET_AWS_SNS_IAM_POLICY dans le document JSON.

   Par exemple :

   Politique IAM originale (abrégée) :

   {
     "Version":"2008-10-17",
     "Id":"__default_policy_ID",
     "Statement":[
        {
           "Sid":"__default_statement_ID",
           "Effect":"Allow",
           "Principal":{
              "AWS":"*"
           }
           ..
        }
      ]
    }
   

   Copy

   Politique IAM fusionnée :

   {
     "Version":"2008-10-17",
     "Id":"__default_policy_ID",
     "Statement":[
        {
           "Sid":"__default_statement_ID",
           "Effect":"Allow",
           "Principal":{
              "AWS":"*"
           }
           ..
        },
        {
           "Sid":"1",
           "Effect":"Allow",
           "Principal":{
             "AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234"
            },
            "Action":[
              "sns:Subscribe"
            ],
            "Resource":[
              "arn:aws:sns:us-west-2:001234567890:s3_mybucket"
            ]
        }
      ]
    }
   

   Copy

10. Ajoutez une autorisation de politique supplémentaire pour permettre à S3 de publier des notifications d’événement pour le compartiment dans le sujet SNS.

    Par exemple (en utilisant le sujet ARN SNS et le compartiment S3 utilisés dans ces instructions) :

    {
        "Sid":"s3-event-notifier",
        "Effect":"Allow",
        "Principal":{
           "Service":"s3.amazonaws.com"
        },
        "Action":"SNS:Publish",
        "Resource":"arn:aws:sns:us-west-2:001234567890:s3_mybucket",
        "Condition":{
           "ArnLike":{
              "aws:SourceArn":"arn:aws:s3:*:*:s3_mybucket"
           }
        }
     }
    

    Copy

    Politique IAM fusionnée :

    {
      "Version":"2008-10-17",
      "Id":"__default_policy_ID",
      "Statement":[
         {
            "Sid":"__default_statement_ID",
            "Effect":"Allow",
            "Principal":{
               "AWS":"*"
            }
            ..
         },
         {
            "Sid":"1",
            "Effect":"Allow",
            "Principal":{
              "AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234"
             },
             "Action":[
               "sns:Subscribe"
             ],
             "Resource":[
               "arn:aws:sns:us-west-2:001234567890:s3_mybucket"
             ]
         },
         {
            "Sid":"s3-event-notifier",
            "Effect":"Allow",
            "Principal":{
               "Service":"s3.amazonaws.com"
            },
            "Action":"SNS:Publish",
            "Resource":"arn:aws:sns:us-west-2:001234567890:s3_mybucket",
            "Condition":{
               "ArnLike":{
                  "aws:SourceArn":"arn:aws:s3:*:*:s3_mybucket"
               }
            }
          }
       ]
     }
    

    Copy

11. Cliquez sur le bouton Save changes.

Étape 2 : Créer une zone de préparation (si nécessaire)¶

Créez une zone de préparation externe qui fait référence à votre compartiment S3 à l’aide de la commande CREATE STAGE. Snowpipe va chercher vos fichiers de données dans la zone de préparation et les mettre temporairement en file d’attente avant de les charger dans votre table cible.

Vous pouvez aussi utiliser une zone de préparation externe.

L’exemple suivant crée une zone de préparation nommée mystage dans le schéma actif de la session utilisateur. L’URL de stockage Cloud inclut le chemin files. La zone de préparation fait référence à une intégration de stockage nommée my_storage_int :

CREATE STAGE mystage
  URL = 's3://mybucket/load/files'
  STORAGE_INTEGRATION = my_storage_int;

Copy

Étape 3 : créer un canal avec l’intégration automatique activée¶

Créez un canal à l’aide de la commande CREATE PIPE. Le canal définit l’instruction COPY INTO <table> utilisée par Snowpipe pour charger les données de la file d’attente d’acquisition dans la table cible. Dans l’instruction COPY, identifiez l’ARN du sujet SNS depuis Conditions préalables : Créer un sujet et un abonnement Amazon SNS.

L’exemple suivant crée un canal nommé mypipe dans le schéma actif de la session utilisateur. Le canal charge toutes les données des fichiers mis dans la zone de préparation mystage dans la table mytable :

create pipe snowpipe_db.public.mypipe
  auto_ingest=true
  aws_sns_topic='<sns_topic_arn>'
  as
    copy into snowpipe_db.public.mytable
    from @snowpipe_db.public.mystage
  file_format = (type = 'JSON');

Copy

Où :

AUTO_INGEST = true

Spécifie de lire les notifications d’événements envoyées d’un compartiment S3 à une file d’attente SQS lorsque de nouvelles données sont prêtes à être chargées.

AWS_SNS_TOPIC = '<sns_sujet_arn>'

Spécifie l’ARN du sujet SNS de votre compartiment S3, par exemple arn:aws:sns:us-west-2:001234567890:s3_mybucket dans l’exemple actuel. L’instruction CREATE PIPE souscrit la file d’attente Snowflake SQS à la rubrique SNS spécifiée. Notez que le canal ne copiera que les fichiers dans la file d’attente d’intégration déclenchée par des notifications d’événement via le sujet SNS.

Pour supprimer l’un des paramètres d’un canal, il est actuellement nécessaire de recréer le canal à l’aide de la syntaxe CREATE OR REPLACE PIPE.

Étape 4 : Configurer la sécurité¶

Pour chaque utilisateur qui exécutera des chargements de données continus avec Snowpipe, accordez suffisamment de privilèges aux objets pour la charge de données (c’est-à-dire la base de données, le schéma et la table cibles).

L’utilisation de Snowpipe nécessite un rôle avec les privilèges suivants :

Utilisez la commande GRANT <privilèges> pour accorder ces privilèges au rôle.

Par exemple, créez un rôle nommé snowpipe_role qui peut accéder à un ensemble d”snowpipe_db.public objets de base de données ainsi qu’à un canal nommé mypipe ; puis, accordez le rôle à un utilisateur :

-- Create a role to contain the Snowpipe privileges
use role securityadmin;

create or replace role snowpipe_role;

-- Grant the required privileges on the database objects
grant usage on database snowpipe_db to role snowpipe_role;

grant usage on schema snowpipe_db.public to role snowpipe_role;

grant insert, select on snowpipe_db.public.mytable to role snowpipe_role;

grant usage, read on stage snowpipe_db.public.mystage to role snowpipe_role;

-- Pause the pipe for OWNERSHIP transfer
alter pipe mypipe SET PIPE_EXECUTION_PAUSED = true;

-- Grant the OWNERSHIP privilege on the pipe object
grant ownership on pipe snowpipe_db.public.mypipe to role snowpipe_role;

-- Grant the role to a user
grant role snowpipe_role to user jsmith;

-- Set the role as the default role for the user
alter user jsmith set default_role = snowpipe_role;

-- Resume the pipe
alter pipe mypipe SET PIPE_EXECUTION_PAUSED = false;

Copy

Snowpipe avec l’intégration automatique est maintenant configuré !

Lorsque de nouveaux fichiers de données sont ajoutés au compartiment S3, la notification d’événement indique à Snowpipe de les charger dans la table cible définie dans le canal.

Étape 5 : Charger des fichiers historiques¶

Pour charger les retards de traitement des fichiers de données qui existaient dans la zone de préparation externe avant que les notifications SQS aient été configurées, voir Chargement de données historiques.

Étape 6 : Supprimer les fichiers en zone de préparation¶

Supprimez les fichiers en zone de préparation après avoir chargé avec succès les données et lorsque vous n’avez plus besoin des fichiers. Pour obtenir des instructions, voir Suppression des fichiers en zone de préparation après le chargement des données par Snowpipe.

Étape 1 : Créer un sujet SNS Amazon¶

Suivez Conditions préalables : Créer un sujet et un abonnement Amazon SNS (dans cette rubrique).

Étape 2 : Créer une règle EventBridge pour vous abonner à des compartiments S3 et envoyer des notifications au sujet SNS¶

• Activer Amazon EventBridge pour les compartiments S3.

• Créez des règles EventBridge pour envoyer des notifications au sujet SNS créé à l’étape 1.

Étape 3 : Configuration d’Amazon SNS pour automatiser Snowpipe à l’aide de notifications SQS¶

Suivez Option 2 : Configuration d’Amazon SNS pour automatiser Snowpipe à l’aide de notifications SQS (dans cette rubrique).