Activation des notifications d’erreur pour des tâches à l’aide d’AWS SNS

Cette rubrique fournit des instructions pour configurer la prise en charge des notifications d’erreur pour des tâches à l’aide d’Amazon Web Services Simple Notification Service (AWS SNS)

Activation des notifications d’erreur avec Amazon AWS SNS

Pour activer les notifications de tâches, suivez les étapes des sections suivantes.

Étape 1 : Créer un sujet SNS Amazon

Créez un sujet SNS dans votre compte AWS pour gérer tous les messages d’erreur. Enregistrez le nom de la ressource Amazon (ARN) pour la file d’attente SNS.

Note

Seules les rubriques SNS standard sont prises en charge. Ne pas créer de sujets SNS FIFO (premier entré, premier sorti) pour les notifications d’erreur. Actuellement, les notifications d’erreur envoyées aux sujets FIFO échouent en silence.

Pour réduire la latence et éviter des frais de sortie de données pour l’envoi de notifications entre régions, nous vous recommandons de créer le sujet SNS dans la même région que votre compte Snowflake.

Pour obtenir des instructions, consultez la rubrique Création d’un sujet SNS Amazon dans la documentation SNS.

Étape 2 : Création de la politique IAM

Créez une politique de gestion des identités et des accès AWS (IAM) qui accorde des autorisations pour appeler le sujet SNS. La politique définit les actions suivantes :

  • sns:publish

    Publiez dans le sujet SNS.

  1. Connectez-vous à la console de gestion AWS.

  2. Dans le tableau de bord d’accueil, sélectionnez Identity & Access Management (IAM) :

  3. Cliquez sur Account settings dans le volet de navigation de gauche.

  4. Développez la liste Security Token Service Regions, recherchez la région AWS qui correspond à la région où se trouve votre compte et choisissez Activate si le statut est Inactive.

  5. Cliquez sur Policies dans le volet de navigation de gauche.

  6. Cliquez sur Create Policy.

  7. Cliquez sur l’onglet JSON.

  8. Ajoutez un document de politique qui définit les actions qui peuvent être prises sur votre sujet SNS.

    Copiez et collez le texte suivant dans l’éditeur de politiques :

    {
        "Version": "2012-10-17",
        "Statement": [
          {
             "Effect": "Allow",
             "Action": [
                 "sns:Publish"
             ],
             "Resource": "<sns_topic_arn>"
          }
        ]
     }
    
    Copy

    Remplacez sns_topic_arn par l’ARN du sujet SNS que vous avez créé à l”étape 1 : Création d’un sujet SNS Amazon (dans cette rubrique).

  9. Cliquez sur Review policy.

  10. Entrez le nom de la stratégie (ex. : snowflake_sns_topic) et une description facultative. Cliquez sur Create policy.

Étape 3 : Création du rôle IAM AWS

Créez un rôle AWS IAM auquel attribuer des privilèges sur le sujet SNS.

  1. Connectez-vous à la console de gestion AWS.

  2. Dans le tableau de bord d’accueil, sélectionnez Identity & Access Management (IAM) :

  3. Cliquez sur Roles dans le volet de navigation de gauche.

  4. Cliquez sur le bouton Create role.

  5. Sélectionnez Another AWS account comme type d’entité de confiance.

  6. Dans le champ Account ID entrez votre propre ID de compte AWS temporaire.

  7. Sélectionnez l’option Require external ID. Cette option vous permet d’accorder des autorisations sur les ressources de votre compte Amazon (c’est-à-dire SNS) à un tiers (c’est-à-dire Snowflake).

    Pour le moment, entrez un ID fictif tel que 0000. Plus tard, vous modifierez la relation de confiance et remplacerez l’ID fictif par l’ID externe pour l’utilisateur IAM de Snowflake généré pour votre compte. Une condition dans la politique de confiance pour votre rôle IAM permet à vos utilisateurs Snowflake d’assumer le rôle en utilisant l’objet d’intégration de notification que vous créerez plus tard.

  8. Cliquez sur le bouton Next.

  9. Localisez la politique que vous avez créée lors de l”étape 2 : Création de la politique IAM (dans cette rubrique), et sélectionnez cette politique.

  10. Cliquez sur le bouton Next.

  11. Entrez un nom et une description pour le rôle et cliquez sur le bouton Create role.

  12. Enregistrez la valeur Role ARN située sur la page de résumé du rôle. Vous préciserez cette valeur dans une ou plusieurs étapes ultérieures.

Étape 4 : Création de l’intégration des notifications

Créez une intégration de notification en utilisant CREATE NOTIFICATION INTEGRATION. Une intégration est un objet Snowflake qui fait référence au sujet SNS que vous avez créé.

Une intégration de notification peut prendre en charge plusieurs tâches et canaux.

Note

Seuls les administrateurs de compte (utilisateurs dotés du rôle ACCOUNTADMIN) ou un rôle disposant du privilège global CREATE INTEGRATION peuvent exécuter cette commande SQL.

CREATE NOTIFICATION INTEGRATION <integration_name>
  ENABLED = true
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AWS_SNS
  DIRECTION = OUTBOUND
  AWS_SNS_TOPIC_ARN = '<topic_arn>'
  AWS_SNS_ROLE_ARN = '<iam_role_arn>'
Copy

Où :

<nom_intégration>

Nom de la nouvelle intégration.

DIRECTION = OUTBOUND

Direction de la messagerie Cloud par rapport à Snowflake. Requis uniquement lors de la configuration des notifications d’erreur.

<sujet_arn>

ARN du sujet SNS que vous avez enregistré à l”étape 1 : Création d’un sujet Amazon SNS (dans cette rubrique).

<arn_rôle_iam>

ARN du rôle IAM que vous avez enregistré à l’étape 3 : Création du rôle IAM AWS (dans cette rubrique).

Par exemple :

CREATE NOTIFICATION INTEGRATION my_notification_int
  ENABLED = true
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AWS_SNS
  DIRECTION = OUTBOUND
  AWS_SNS_TOPIC_ARN = 'arn:aws:sns:us-east-2:111122223333:sns_topic'
  AWS_SNS_ROLE_ARN = 'arn:aws:iam::111122223333:role/error_sns_role';
Copy

Étape 5 : Accord d’un accès à Snowflake au sujet SNS

Récupérer l’ARN de l’utilisateur IAM et l’ID externe du sujet SNS

  1. Exécutez DESCRIBE INTEGRATION :

    DESC NOTIFICATION INTEGRATION <integration_name>;
    
    Copy

    Où :

    • integration_name est le nom de l’intégration de notification créée à l”étape 4 : Création de l’intégration des notifications (dans cette rubrique).

    Par exemple :

    DESC NOTIFICATION INTEGRATION my_notification_int;
    
    +---------------------------+-------------------+------------------------------------------------------+----------------------+
    |   property                |   property_type   |   property_value                                     |   property_default   |
    +---------------------------+-------------------+------------------------------------------------------+----------------------+
    |   ENABLED                 |   Boolean         |   true                                               |   false              |
    |   NOTIFICATION_PROVIDER   |   String          |   AWS_SNS                                            |                      |
    |   DIRECTION               |   String          |   OUTBOUND                                           |   INBOUND            |
    |   AWS_SNS_TOPIC_ARN       |   String          |   arn:aws:sns:us-east-2:111122223333:myaccount       |                      |
    |   AWS_SNS_ROLE_ARN        |   String          |   arn:aws:iam::111122223333:role/myrole              |                      |
    |   SF_AWS_IAM_USER_ARN     |   String          |   arn:aws:iam::123456789001:user/c_myaccount         |                      |
    |   SF_AWS_EXTERNAL_ID      |   String          |   MYACCOUNT_SFCRole=2_a123456/s0aBCDEfGHIJklmNoPq=   |                      |
    +---------------------------+-------------------+------------------------------------------------------+----------------------+
    
    Copy
  2. Enregistrez les valeurs générées suivantes :

    SF_AWS_IAM_USER_ARN

    ARN pour l’utilisateur IAM Snowflake créé pour votre compte. Les utilisateurs de votre compte Snowflake assumeront le rôle IAM que vous avez créé à l’étape 3 : Création du rôle IAM AWS en soumettant l’ID externe pour cet utilisateur en utilisant votre intégration de notification.

    SF_AWS_EXTERNAL_ID

    ID externe pour l’utilisateur IAM Snowflake créé pour votre compte.

    Dans l’étape suivante, vous allez mettre à jour la relation de confiance pour le rôle IAM avec ces valeurs.

Notez la propriété DIRECTION , qui indique la direction de la messagerie Cloud par rapport à Snowflake.

Modifier la relation de confiance dans le rôle IAM

  1. Connectez-vous à la console de gestion AWS.

  2. Dans le tableau de bord d’accueil, sélectionnez Identity & Access Management (IAM) :

  3. Cliquez sur Roles dans le volet de navigation de gauche.

  4. Cliquez sur le rôle que vous avez créé à l’étape 3 : Création du rôle IAM AWS (dans ce chapitre).

  5. Cliquez sur l’onglet Trust relationships.

  6. Cliquez sur le bouton Edit trust relationship.

  7. Modifiez le document de politique avec les valeurs de sortie DESC NOTIFICATION INTEGRATION que vous avez enregistrées dans Récupérer l’ARN de l’utilisateur IAM et l’ID externe du sujet SNS (dans cette rubrique) :

    Document de politique pour le rôle IAM

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Sid": "",
          "Effect": "Allow",
          "Principal": {
            "AWS": "<sf_aws_iam_user_arn>"
          },
          "Action": "sts:AssumeRole",
          "Condition": {
            "StringEquals": {
              "sts:ExternalId": "<sf_aws_external_id>"
            }
          }
        }
      ]
    }
    
    Copy

    Où :

    • sf_aws_iam_user_arn est la valeur SF_AWS_IAM_USER_ARN que vous avez enregistrée.

    • sf_aws_external_id est la valeur SF_AWS_EXTERNAL_ID que vous avez enregistrée.

  8. Cliquez sur le bouton Update Trust Policy. Les modifications sont enregistrées.

Étape 6 : Activation des notifications d’erreur dans les tâches

Activez ensuite la notification d’erreur, dans une tâche autonome ou racine, en définissant ERROR_INTEGRATION comme le nom de l’intégration de la notification. Vous pouvez définir la valeur du paramètre lorsque vous créez une tâche (à l’aide de CREATE TASK) ou ultérieurement (à l’aide de ALTER TASK).

Pour plus de détails, reportez-vous à Configuration d’une tâche pour envoyer des notifications d’erreur.