Automatisieren des kontinuierlichen Ladens von Daten mithilfe von Cloudmessaging¶
Beim automatischen Laden von Daten werden für Cloudspeicher Ereignisbenachrichtigungen verwendet, um Snowpipe über das Eintreffen neuer zu ladender Datendateien zu informieren. Snowpipe kopiert die Dateien in eine Warteschlange, aus der sie auf Grundlage der in einem angegebenen Pipeobjekt definierten Parameter kontinuierlich und ohne Server in die Zieltabelle geladen werden.
Bemerkung
Beim automatisierten Snowpipe wird mithilfe von Ereignisbenachrichtigungen festgestellt, wann neue Dateien im überwachten Cloudspeicher eintreffen und zum Laden bereit sind. Benachrichtigungen identifizieren das Cloudspeicherereignis und enthalten eine Liste der Dateinamen. Sie enthalten nicht die tatsächlich in den Dateien vorliegenden Daten.
Wenn eine Pipe angehalten wird, besteht für neue von der Pipe empfangene Ereignismeldungen eine begrenzte Aufbewahrungsfrist. Der Zeitraum beträgt standardmäßig 14 Tage. Wenn eine Pipe länger als 14 Tage angehalten wird, wird sie als veraltet angesehen.
Ereignisbenachrichtigungen, die empfangen werden, während eine Pipe angehalten ist, werden nur für einen begrenzten Zeitraum (14 Tage) aufbewahrt. Wenn eine Benachrichtigung das Ende der Aufbewahrungsfrist erreicht, plant Snowflake ein, dass sie aus den internen Metadaten gelöscht wird. Wenn die Pipe später fortgesetzt wird, kann Snowpipe Benachrichtigungen, die älter als 14 Tage sind, nur nach dem Best-Effort-Prinzip verarbeiten. Snowflake kann nicht garantieren, dass diese älteren Benachrichtigungen verarbeitet werden.
Weitere Informationen zum Fortsetzen veralteter Pipes finden Sie unter Verwaltung von Snowpipe.
In der folgenden Tabelle sind die Cloudspeicherdienste aufgeführt, mit denen Sie Daten mithilfe von Cloudspeicher-Ereignisbenachrichtigungen automatisch in Ihr Snowflake-Konto laden können, je nach Cloudplattform, auf der Ihr Konto gehostet wird:
Host des Snowflake-Kontos |
Amazon S3 |
Google Cloud Storage |
Microsoft Azure Blob-Speicher |
Microsoft Data Lake Storage Gen2 |
Microsoft Azure General Purpose v2 |
|---|---|---|---|---|---|
Amazon Web Services |
✔ |
✔ |
✔ |
✔ |
✔ |
Google Cloud Platform |
✔ |
✔ |
✔ |
✔ |
✔ |
Microsoft Azure |
✔ |
✔ |
✔ |
✔ |
✔ |
Wichtig
Snowflake empfiehlt die Aktivierung der Cloudereignisfilterung für Snowpipe, um Kosten, Ereignisrauschen und Latenz zu reduzieren. Weitere Informationen zum Konfigurieren der Ereignisfilterung für jeden Cloudanbieter finden Sie auf den folgenden Seiten:
Nächste Themen: