クラウドメッセージングを使用した連続データロードの自動化¶

自動データロードは、クラウドストレージのイベント通知を活用して、ロードする新しいデータファイルの到着をSnowpipeに通知します。Snowpipeは、指定されたパイプオブジェクトで定義されたパラメーターに基づいて、サーバーレスで継続的にターゲットテーブルにロードされるファイルをキューにコピーします。

注釈

自動Snowpipeは、イベント通知を使用して、監視対象のクラウドストレージに新しいファイルが到着し、ロードの準備ができたときを判断します。通知はクラウドストレージイベントを識別し、ファイル名のリストを含みます。通知にはファイルの実際のデータは含まれません。
パイプが一時停止されると、パイプに対して受信されたイベントメッセージは制限された保持期間に入ります。期間はデフォルトで14日です。パイプが14日より長く一時停止されている場合、パイプは古くなっていると見なされます。

パイプが一時停止している間に受信したイベント通知は、限られた期間（14日）だけ保持されます。各通知がこの期間の終わりに達すると、Snowflakeはそれを内部メタデータから削除するようにスケジュールします。パイプが後で再開された場合、Snowpipeは14日より古い通知をベストエフォートベーシスで処理する場合があります。Snowflakeは、これらの古い通知が処理されることを保証できません。

古いパイプの再開については、 Snowpipeの管理を参照してください。

次の表は、アカウントをホストするクラウドプラットフォームに基づいて、クラウドストレージイベント通知を使用してSnowflakeアカウントにデータを自動的に読み込むためにサポートされているクラウドストレージサービスを示しています。

Snowflakeアカウントホスト	Amazon S3	Google Cloud Storage	Microsoft Azure Blobストレージ	Microsoft Data Lake Storage Gen2	MicrosoftAzure汎用v2
Amazon Web Services	✔	✔	✔	✔	✔
Google Cloud Platform	❌	✔	❌	❌	❌
Microsoft Azure	❌	❌	✔	✔	✔

次のトピック: