Aktivieren von Snowpipe-Fehlerbenachrichtigungen für Google Pub/Sub¶

Schritt 1: Erstellen des Pub/Sub-Themas¶

Erstellen Sie ein Pub/Sub-Thema, das Fehlerbenachrichtigungsmeldungen von Snowflake empfangen kann, oder verwenden Sie ein vorhandenes Thema. Sie können das Thema mit Cloud Shell oder Cloud SDK erstellen. Weitere Informationen dazu finden Sie in der Pub/Sub-Dokumentation unter Themen erstellen und verwenden.

Führen Sie zum Beispiel den folgenden Befehl aus, um ein leeres Thema zu erstellen:

$ gsutil notification create -t <topic>

Wenn das Thema bereits vorhanden ist, wird es vom Befehl verwendet. Andernfalls wird ein neues Thema erstellt.

Schritt 2: Erstellen des Pub/Sub-Abonnements¶

Erstellen Sie optional ein Abonnement für das Pub/Sub-Thema, um Fehlerbenachrichtigungen abzurufen. Sie können ein Abonnement mit Pull-Bereitstellung für das Pub/Sub-Thema über die Cloud Console, das Befehlszeilentool gcloud oder die Cloud Pub/Sub-API erstellen. Anweisungen finden Sie unter Verwalten von Themen und Abonnements in der Pub/Sub-Dokumentation.

Schritt 3: Erstellen einer Benachrichtigungsintegration in Snowflake¶

Erstellen Sie eine Benachrichtigungsintegration mit dem Befehl CREATE NOTIFICATION INTEGRATION. Die Benachrichtigungsintegration verweist auf Ihr Pub/Sub-Thema. Snowflake verknüpft die Benachrichtigungsintegration mit einem Google Cloud Platform (GCP)-Dienstkonto, das für Ihr Konto erstellt wurde. Snowflake erstellt ein einziges Dienstkonto, auf das von allen GCP-Speicherintegrationen in Ihrem Snowflake-Konto verwiesen wird.

CREATE NOTIFICATION INTEGRATION <integration_name>
  ENABLED = TRUE
  TYPE = QUEUE
  DIRECTION = OUTBOUND
  NOTIFICATION_PROVIDER = GCP_PUBSUB
  GCP_PUBSUB_TOPIC_NAME = '<topic_id>'

Wobei:

• integration_name ist der Name der neuen Integration.

• topic_id ist das Pub/Sub-Thema, an das Snowflake Fehlerbenachrichtigungen sendet. Weitere Informationen dazu finden Sie unter Schritt 1: Erstellen des Pub/Sub-Themas (unter diesem Thema).

Beispiel:

CREATE NOTIFICATION INTEGRATION my_notification_int
  TYPE = QUEUE
  DIRECTION = OUTBOUND
  NOTIFICATION_PROVIDER = GCP_PUBSUB
  ENABLED = true
  GCP_PUBSUB_TOPIC_NAME = 'projects/sdm-prod/topics/mytopic';

Schritt 4: Gewähren von Snowflake-Zugriff auf das Pub/Sub-Abonnement¶

1. Führen Sie den Befehl DESCRIBE INTEGRATION aus, um die Snowflake-Dienstkonto-ID abzurufen:

   DESC NOTIFICATION INTEGRATION <integration_name>;
   

   Copy

   Wobei:

   • integration_name ist der Name der Integration, die Sie in „Schritt 1: Benachrichtigungsintegration in Snowflake erstellen“ erstellt haben.

   Beispiel:

   DESC NOTIFICATION INTEGRATION my_notification_int;
   

   Copy

2. Notieren Sie den Namen des Dienstkontos in der Spalte GCP_PUBSUB_SERVICE_ACCOUNT, die das folgende Format hat:

   <service_account>@<project_id>.iam.gserviceaccount.com
   

   Copy

3. Melden Sie sich bei der Google Cloud Platform Console als Projekteditor an.

4. Wählen Sie im Startseiten-Dashboard die Option Big Data » Pub/Sub » Subscriptions aus.

5. Wählen Sie das Abonnement aus, das für den Zugriff konfiguriert werden soll.

6. Klicken Sie oben rechts auf SHOW INFO PANEL. Der Informationsbereich für das Abonnement wird erweitert.

7. Suchen Sie im Feld Add members nach dem Dienstkontonamen, den Sie sich in Schritt 2 notiert haben.

8. Wählen Sie in der Dropdown-Liste Select a role die Option Pub/Sub Publisher aus.

9. Klicken Sie auf die Schaltfläche Add. Der Name des Dienstkontos wird der Dropdown-Liste Pub/Sub Publisher im Informationsbereich hinzugefügt.

Schritt 5: Aktivieren von Fehlerbenachrichtigungen in Pipes¶

Eine einzelne Benachrichtigungsintegration kann von mehreren Pipes gemeinsam genutzt werden. Im Hauptteil der Fehlermeldung werden unter anderem die Pipe, der externe Stagingbereich mit seinem Pfad sowie die Datei, in der der Fehler aufgetreten ist, angegeben.

Um Fehlerbenachrichtigungen für eine Pipe zu aktivieren, geben Sie einen ERROR_INTEGRATION-Parameterwert an.

Beachten Sie, dass für die Bearbeitung eines Objekts in einem Schema auch die Berechtigung USAGE für die übergeordnete Datenbank und das Schema erforderlich ist.

Eine Anleitung zum Erstellen einer kundenspezifischen Rolle mit einer bestimmten Gruppe von Berechtigungen finden Sie unter Erstellen von kundenspezifischen Rollen.

Allgemeine Informationen zu Rollen und Berechtigungen zur Durchführung von SQL-Aktionen auf sicherungsfähigen Objekten finden Sie unter Übersicht zur Zugriffssteuerung.

CREATE PIPE <name>
  AUTO_INGEST = TRUE
  [ INTEGRATION = '<string>' ]
  ERROR_INTEGRATION = <integration_name>
  AS <copy_statement>

CREATE PIPE mypipe
  AUTO_INGEST = TRUE
  INTEGRATION = 'my_storage_int'
  ERROR_INTEGRATION = my_notification_int
  AS
  COPY INTO mydb.public.mytable
  FROM @mydb.public.mystage;

ALTER PIPE <name> SET ERROR_INTEGRATION = <integration_name>;

ALTER PIPE mypipe SET ERROR_INTEGRATION = my_notification_int;