クラウドメッセージングを使用した連続データロードの自動化¶
自動データロードは、クラウドストレージのイベント通知を活用して、ロードする新しいデータファイルの到着をSnowpipeに通知します。Snowpipeは、指定されたパイプオブジェクトで定義されたパラメーターに基づいて、サーバーレスで継続的にターゲットテーブルにロードされるファイルをキューにコピーします。
注釈
- 自動化されたSnowpipeは、イベント通知を使用して、クラウドストレージの監視された外部ステージに新しいファイルが到着し、ロードできるようになったタイミングを判断します。通知はクラウドストレージイベントを識別し、ファイル名のリストを含みます。通知にはファイルの実際のデータは 含まれません。 
- パイプが一時停止されると、パイプに対して受信されたイベントメッセージは制限された保持期間に入ります。期間はデフォルトで14日です。パイプが14日より長く一時停止されている場合、パイプは古くなっていると見なされます。 - パイプが一時停止している間に受信したイベント通知は、限られた期間(14日)だけ保持されます。各通知がこの期間の終わりに達すると、Snowflakeはそれを内部メタデータから削除するようにスケジュールします。パイプが後で再開された場合、Snowpipeは14日より古い通知をベストエフォートベーシスで処理する場合があります。Snowflakeは、これらの古い通知が処理されることを保証できません。 - 古いパイプの再開については、 Snowpipeの管理 を参照してください。 
以下のテーブルは、アカウントをホストしているService(DaaS) クラウドプラットフォーム に基づいて、クラウドストレージイベント通知を使用して外部ステージのデータをSnowflakeアカウントに自動的に読み込むためにサポートされているクラウドストレージサービスを示します。
| Snowflakeアカウントホスト | Amazon S3 | Google Cloud Storage | Microsoft Azure Blobストレージ | Microsoft Data Lake Storage Gen2 | MicrosoftAzure汎用v2 | 
|---|---|---|---|---|---|
| Amazon Web Services | ✔ | ✔ | ✔ | ✔ | ✔ | 
| Google Cloud | ✔ | ✔ | ✔ | ✔ | ✔ | 
| Microsoft Azure | ✔ | ✔ | ✔ | ✔ | ✔ | 
重要
Snowflakeは、Snowpipe用のクラウドイベントフィルタリングを有効にして、コスト、イベントノイズ、および遅延を削減するようにお勧めします。各クラウドプロバイダーのイベントフィルタリングの構成に関する詳細については、次のページをご参照ください。
次のトピック: