クラウドメッセージングを使用した連続データロードの自動化¶
自動データロードは、クラウドストレージのイベント通知を活用して、ロードする新しいデータファイルの到着をSnowpipeに通知します。Snowpipeは、指定されたパイプオブジェクトで定義されたパラメーターに基づいて、サーバーレスで継続的にターゲットテーブルにロードされるファイルをキューにコピーします。
注釈
自動Snowpipeは、イベント通知を使用して、監視対象のクラウドストレージに新しいファイルが到着し、ロードの準備ができたときを判断します。通知はクラウドストレージイベントを識別し、ファイル名のリストを含みます。通知にはファイルの実際のデータは 含まれません。
パイプが一時停止されると、パイプに対して受信されたイベントメッセージは制限された保持期間に入ります。期間はデフォルトで14日です。パイプが14日より長く一時停止されている場合、パイプは古くなっていると見なされます。
パイプが一時停止している間に受信したイベント通知は、限られた期間（14日）だけ保持されます。各通知がこの期間の終わりに達すると、Snowflakeはそれを内部メタデータから削除するようにスケジュールします。パイプが後で再開された場合、Snowpipeは14日より古い通知をベストエフォートベーシスで処理する場合があります。Snowflakeは、これらの古い通知が処理されることを保証できません。
古いパイプの再開については、 Snowpipeの管理 を参照してください。
次の表は、アカウントをホストする クラウドプラットフォーム に基づいて、クラウドストレージイベント通知を使用してSnowflakeアカウントにデータを自動的に読み込むためにサポートされているクラウドストレージサービスを示しています。
Snowflakeアカウントホスト |
Amazon S3 |
Google Cloud Storage |
Microsoft Azure Blobストレージ |
Microsoft Data Lake Storage Gen2 |
MicrosoftAzure汎用v2 |
|---|---|---|---|---|---|
Amazon Web Services |
✔ |
✔ |
✔ |
✔ |
✔ |
Google Cloud Platform |
❌ |
✔ |
❌ |
❌ |
❌ |
Microsoft Azure |
❌ |
❌ |
✔ |
✔ |
✔ |
重要
Snowflakeは、Snowpipe用のクラウドイベントフィルタリングを有効にして、コスト、イベントノイズ、および遅延を削減するようにお勧めします。各クラウドプロバイダーのイベントフィルタリングの構成に関する詳細については、次のページをご参照ください。
次のトピック: