Google Pub/SubのSnowpipeエラー通知の有効化¶

ステップ1: Pub/Subトピックを作成する¶

Snowflakeからエラー通知メッセージを受信できるPub/Subトピックを作成するか、既存のトピックを再利用します。トピックは、 クラウドシェル または クラウドSDK を使用して作成できます。詳細については、Pub/Subドキュメントの トピックの作成と使用 をご参照ください。

例えば、次のコマンドを実行して、空のトピックを作成します。

$ gsutil notification create -t <topic>

トピックがすでに存在する場合、コマンドはそれを使用します。それ以外の場合は、新しいトピックが作成されます。

ステップ2: Pub/Subサブスクリプションを作成する¶

必要に応じて、Pub/Subトピックへのサブスクリプションを作成して、エラー通知を取得します。Cloud Console、 gcloud コマンドラインツール、またはCloud Pub/Sub API を使用して、プル配信があるサブスクリプションを作成することができます。手順については、Pub/Subドキュメントの トピックとサブスクリプションの管理 をご参照ください。

ステップ3: Snowflakeで通知統合を作成する¶

CREATE NOTIFICATION INTEGRATION コマンドを使用して通知統合を作成します。通知統合は、Pub/Subトピックを参照します。Snowflakeは、通知統合をアカウント用に作成されたGoogle Cloud Platform（GCP）サービスアカウントに関連付けます。Snowflakeは、Snowflakeアカウントのすべての GCP 通知統合によって参照される単一のサービスアカウントを作成します。

CREATE NOTIFICATION INTEGRATION <integration_name>
  ENABLED = TRUE
  TYPE = QUEUE
  DIRECTION = OUTBOUND
  NOTIFICATION_PROVIDER = GCP_PUBSUB
  GCP_PUBSUB_TOPIC_NAME = '<topic_id>'

条件:

• integration_name は、新しい統合の名前です。

• topic_id は、Snowflakeがエラー通知を送信するPub/Subトピックです。詳細については、 ステップ1: Pub/Subトピックを作成する （このトピック内）をご参照ください。

例:

CREATE NOTIFICATION INTEGRATION my_notification_int
  TYPE = QUEUE
  DIRECTION = OUTBOUND
  NOTIFICATION_PROVIDER = GCP_PUBSUB
  ENABLED = true
  GCP_PUBSUB_TOPIC_NAME = 'projects/sdm-prod/topics/mytopic';

ステップ4: Pub/SubサブスクリプションにSnowflakeアクセスを許可する¶

1. DESCRIBE INTEGRATION コマンドを実行して、Snowflakeサービスアカウント ID を取得します。

   DESC NOTIFICATION INTEGRATION <integration_name>;
   

   Copy

   条件:

   • integration_name は、「ステップ1: Snowflakeで通知統合を作成する」で作成した統合の名前です。

   例:

   DESC NOTIFICATION INTEGRATION my_notification_int;
   

   Copy

2. GCP_PUBSUB_SERVICE_ACCOUNT 列にサービスアカウント名を記録します。これは次の形式です。

   <service_account>@<project_id>.iam.gserviceaccount.com
   

   Copy

3. プロジェクトエディターとしてGoogle Cloud Platform Consoleにログインします。

4. ホームダッシュボードから、 Big Data » Pub/Sub » Subscriptions を選択します。

5. アクセス用に構成するサブスクリプションを選択します。

6. 右上隅の SHOW INFO PANEL をクリックします。サブスクリプションの情報パネルがスライドアウトします。

7. Add members フィールドで、記録したサービスアカウント名を検索します。

8. Select a role ドロップダウンから、 Pub/Sub Publisher を選択します。

9. Add ボタンをクリックします。サービスアカウント名は、情報パネルの Pub/Sub Publisher ロールドロップダウンに追加されます。

ステップ5: パイプでエラー通知を有効にする¶

単一の通知統合は、複数のパイプで共有できます。エラーメッセージの本文は、パイプ、外部ステージとパス、およびエラーが発生したファイルなどの詳細を識別します。

パイプのエラー通知を有効にするには、 ERROR_INTEGRATION パラメーター値を指定します。

スキーマ内の任意のオブジェクトを操作するには、親データベースとスキーマに対する USAGE 権限も必要であることに注意してください。

指定された権限のセットを使用してカスタムロールを作成する手順については、 カスタムロールの作成 をご参照ください。

セキュリティ保護可能なオブジェクト に対して SQL アクションを実行するためのロールと権限付与に関する一般的な情報については、 アクセス制御の概要 をご参照ください。

CREATE PIPE <name>
  AUTO_INGEST = TRUE
  [ INTEGRATION = '<string>' ]
  ERROR_INTEGRATION = <integration_name>
  AS <copy_statement>

CREATE PIPE mypipe
  AUTO_INGEST = TRUE
  INTEGRATION = 'my_storage_int'
  ERROR_INTEGRATION = my_notification_int
  AS
  COPY INTO mydb.public.mytable
  FROM @mydb.public.mystage;

ALTER PIPE <name> SET ERROR_INTEGRATION = <integration_name>;

ALTER PIPE mypipe SET ERROR_INTEGRATION = my_notification_int;