クラウドメッセージングを使用した連続データロードの自動化

自動データロードは、クラウドストレージのイベント通知を活用して、ロードする新しいデータファイルの到着をSnowpipeに通知します。Snowpipeは、指定されたパイプオブジェクトで定義されたパラメーターに基づいて、サーバーレスで継続的にターゲットテーブルにロードされるファイルをキューにコピーします。

注釈

  • 自動Snowpipeは、イベント通知を使用して、監視対象のクラウドストレージに新しいファイルが到着し、ロードの準備ができたときを判断します。通知はクラウドストレージイベントを識別し、ファイル名のリストを含みます。通知にはファイルの実際のデータは 含まれません

  • パイプが一時停止されると、パイプに対して受信されたイベントメッセージは制限された保持期間に入ります。期間はデフォルトで14日です。パイプが14日より長く一時停止されている場合、パイプは古くなっていると見なされます。

    パイプが一時停止している間に受信したイベント通知は、限られた期間(14日)だけ保持されます。各通知がこの期間の終わりに達すると、Snowflakeはそれを内部メタデータから削除するようにスケジュールします。パイプが後で再開された場合、Snowpipeは14日より古い通知をベストエフォートベーシスで処理する場合があります。Snowflakeは、これらの古い通知が処理されることを保証できません。

    古いパイプの再開については、 Snowpipeの管理 を参照してください。

次の表は、アカウントをホストする クラウドプラットフォーム に基づいて、クラウドストレージイベント通知を使用してSnowflakeアカウントにデータを自動的に読み込むためにサポートされているクラウドストレージサービスを示しています。

Snowflakeアカウントホスト

Amazon S3

Google Cloud Storage

Microsoft Azure Blobストレージ

Microsoft Data Lake Storage Gen2

MicrosoftAzure汎用v2

Amazon Web Services

Google Cloud Platform

Microsoft Azure

重要

Snowflakeは、Snowpipe用のクラウドイベントフィルタリングを有効にして、コスト、イベントノイズ、および遅延を削減するようにお勧めします。各クラウドプロバイダーのイベントフィルタリングの構成に関する詳細については、次のページをご参照ください。

次のトピック: