Automatisieren des kontinuierlichen Ladens von Daten mithilfe von Cloudmessaging

Beim automatischen Laden von Daten werden für Cloudspeicher Ereignisbenachrichtigungen verwendet, um Snowpipe über das Eintreffen neuer zu ladender Datendateien zu informieren. Snowpipe kopiert die Dateien in eine Warteschlange, aus der sie auf Grundlage der in einem angegebenen Pipeobjekt definierten Parameter kontinuierlich und ohne Server in die Zieltabelle geladen werden.

Bemerkung

  • Beim automatisierten Snowpipe wird mithilfe von Ereignisbenachrichtigungen festgestellt, wann neue Dateien im überwachten Cloudspeicher eintreffen und zum Laden bereit sind. Benachrichtigungen identifizieren das Cloudspeicherereignis und enthalten eine Liste der Dateinamen. Sie enthalten nicht die tatsächlich in den Dateien vorliegenden Daten.

  • Wenn eine Pipe angehalten wird, besteht für neue von der Pipe empfangene Ereignismeldungen eine begrenzte Aufbewahrungsfrist. Der Zeitraum beträgt standardmäßig 14 Tage. Wenn eine Pipe länger als 14 Tage angehalten wird, wird sie als veraltet angesehen.

    Ereignisbenachrichtigungen, die empfangen werden, während eine Pipe angehalten ist, werden nur für einen begrenzten Zeitraum (14 Tage) aufbewahrt. Wenn eine Benachrichtigung das Ende der Aufbewahrungsfrist erreicht, plant Snowflake ein, dass sie aus den internen Metadaten gelöscht wird. Wenn die Pipe später fortgesetzt wird, kann Snowpipe Benachrichtigungen, die älter als 14 Tage sind, nur nach dem Best-Effort-Prinzip verarbeiten. Snowflake kann nicht garantieren, dass diese älteren Benachrichtigungen verarbeitet werden.

    Weitere Informationen zum Fortsetzen veralteter Pipes finden Sie unter Verwaltung von Snowpipe.

In der folgenden Tabelle sind die Cloudspeicherdienste aufgeführt, mit denen Sie Daten mithilfe von Cloudspeicher-Ereignisbenachrichtigungen automatisch in Ihr Snowflake-Konto laden können, je nach Cloudplattform, auf der Ihr Konto gehostet wird:

Host des Snowflake-Kontos

Amazon S3

Google Cloud Storage

Microsoft Azure Blob-Speicher

Microsoft Data Lake Storage Gen2

Microsoft Azure General Purpose v2

Amazon Web Services

Google Cloud Platform

Microsoft Azure

Wichtig

Snowflake empfiehlt die Aktivierung der Cloudereignisfilterung für Snowpipe, um Kosten, Ereignisrauschen und Latenz zu reduzieren. Weitere Informationen zum Konfigurieren der Ereignisfilterung für jeden Cloudanbieter finden Sie auf den folgenden Seiten:

Nächste Themen: