Activation des notifications d’erreur Snowpipe pour Google Pub/Sub¶

֤Étape 1 : Création du sujet Pub/Sub¶

Créez un sujet Pub/Sub qui peut recevoir des messages de notification d’erreur de Snowflake, ou réutilisez un sujet existant. Vous pouvez créer le sujet en utilisant Cloud Shell ou Cloud SDK. Pour plus d’informations, voir Créer et utiliser des sujets dans la documentation Pub/Sub.

Par exemple, exécutez la commande suivante pour créer un sujet vide :

$ gsutil notification create -t <topic>

Si le sujet existe déjà, la commande l’utilise ; sinon, un nouveau sujet est créé.

֤Étape 2 : Création d’un abonnement Pub/Sub¶

Vous pouvez également créer un abonnement au sujet Pub/Sub pour récupérer les notifications d’erreur. Vous pouvez créer un abonnement avec transmission de type pull à l’aide de la console Cloud, de l’outil de ligne de commande gcloud ou de l’API Cloud Pub/Sub. Pour obtenir des instructions, voir Gérer les sujets et les abonnements dans la documentation Pub/Sub.

Étape 3 : Création d’une intégration de notification dans Snowflake¶

Créez une intégration de notification à l’aide de la commande CREATE NOTIFICATION INTEGRATION. L’intégration des notifications fait référence à votre sujet Pub/Sub. Snowflake associe l’intégration de la notification à un compte de service Goodle Cloud Platform (GCP) créé pour votre compte. Snowflake crée un seul compte de service référencé par toutes les notifications de stockage GCP de votre compte Snowflake.

CREATE NOTIFICATION INTEGRATION <integration_name>
  ENABLED = TRUE
  TYPE = QUEUE
  DIRECTION = OUTBOUND
  NOTIFICATION_PROVIDER = GCP_PUBSUB
  GCP_PUBSUB_TOPIC_NAME = '<topic_id>'

Où :

• integration_name est le nom de la nouvelle intégration.

• topic_id est le sujet Pub/Sub auquel Snowflake envoie des notifications d’erreur. Pour plus d’informations, voir Étape 1 : Création du sujet Pub/Sub (dans cette rubrique).

Par exemple :

CREATE NOTIFICATION INTEGRATION my_notification_int
  TYPE = QUEUE
  DIRECTION = OUTBOUND
  NOTIFICATION_PROVIDER = GCP_PUBSUB
  ENABLED = true
  GCP_PUBSUB_TOPIC_NAME = 'projects/sdm-prod/topics/mytopic';

Étape 4 : Accord d’un accès à Snowflake à l’abonnement Pub/Sub¶

1. Exécutez la commande DESCRIBE INTEGRATION pour récupérer l’ID de compte de service Snowflake :

   DESC NOTIFICATION INTEGRATION <integration_name>;
   

   Copy

   Où :

   • integration_name est le nom de l’intégration créée à l’étape 1 : « Créer une intégration de notification dans Snowflake. »

   Par exemple :

   DESC NOTIFICATION INTEGRATION my_notification_int;
   

   Copy

2. Enregistrez le nom du compte de service dans la colonne GCP_PUBSUB_SERVICE_ACCOUNT, qui a le format suivant :

   <service_account>@<project_id>.iam.gserviceaccount.com
   

   Copy

3. Connectez-vous à la console Google Cloud Platform en tant qu’éditeur de projet.

4. Dans le tableau de bord d’accueil, sélectionnez Big Data » Pub/Sub » Subscriptions.

5. Sélectionnez l’abonnement à configurer pour l’accès.

6. Cliquez sur SHOW INFO PANEL dans le coin supérieur droit. Le panneau d’information de l’abonnement s’affiche en coulissant.

7. Dans le champ Add members, recherchez le nom du compte de service que vous avez enregistré.

8. Dans la liste déroulante Select a role, sélectionnez Pub/Sub Publisher.

9. Cliquez sur le bouton Add. Le nom du compte de service est ajouté à la liste déroulante des rôles Pub/Sub Publisher dans le panneau d’informations.

Étape 5 : Activation des notifications d’erreur dans les canaux¶

Une seule intégration de notification peut être partagée par plusieurs canaux. Le corps des messages d’erreur identifie le canal, la zone de préparation externe et le chemin, ainsi que le fichier d’où provient l’erreur, entre autres détails.

Pour activer les notifications d’erreur pour un canal, spécifiez une valeur de paramètre ERROR_INTEGRATION.

Notez que l’exploitation d’un objet dans un schéma requiert également le privilège USAGE sur la base de données et le schéma parents.

Pour obtenir des instructions sur la création d’un rôle personnalisé avec un ensemble spécifique de privilèges, voir Création de rôles personnalisés.

Pour des informations générales sur les rôles et les privilèges accordés pour effectuer des actions SQL sur des objets sécurisables, voir Aperçu du contrôle d’accès.

CREATE PIPE <name>
  AUTO_INGEST = TRUE
  [ INTEGRATION = '<string>' ]
  ERROR_INTEGRATION = <integration_name>
  AS <copy_statement>

CREATE PIPE mypipe
  AUTO_INGEST = TRUE
  INTEGRATION = 'my_storage_int'
  ERROR_INTEGRATION = my_notification_int
  AS
  COPY INTO mydb.public.mytable
  FROM @mydb.public.mystage;

ALTER PIPE <name> SET ERROR_INTEGRATION = <integration_name>;

ALTER PIPE mypipe SET ERROR_INTEGRATION = my_notification_int;