Kosten für Snowpipe Streaming Classic¶
Mit dem serverlosen Computemodell von Snowpipe Streaming können Benutzer beliebige Datenmengen streamen, ohne ein virtuelles Warehouse verwalten zu müssen. Stattdessen sorgt Snowflake für die Bereitstellung und Verwaltung der Computeressourcen, wobei die Kapazität automatisch anhand der aktuellen Snowpipe Streaming-Ladeoperationen erhöht oder verringert wird.
Bei Snowpipe Streaming Classic werden Konten auf Basis der sekundengenauen Zeit berechnet, die für serverlose Berechnungen und aktive Client-Streaming-Datenaufnahme benötigt wird. Beachten Sie die folgenden Punkte:
Die Dateimigration erfolgt asynchron zur Streaming-Datenaufnahme.
Die Dateimigration kann durch Clustering oder andere DML-Operationen vorweggenommen werden.
Die Migration von Dateien erfolgt möglicherweise nicht immer, sodass die Rechenkosten gesenkt werden können.
Für von Snowflake verwaltete Apache Iceberg™-Tabellen funktioniert die Dateimigration ähnlich wie die Iceberg-Tabellenpflege, um bei Bedarf neue komprimierte Parquet-Dateien zu erstellen.
Weitere Informationen dazu finden Sie in der Tabelle „Serverless Feature Credits Table“ unter Snowflake Service Consumption Table.
Abschätzen der Snowpipe Streaming-Gebühren¶
Angesichts der Vielzahl von Faktoren, die Snowpipe Streaming-Workloads beeinflussen können, ist es für Snowflake sehr schwierig, Beispielkosten anzugeben. Größe der Datensätze, Anzahl der Datensätze, Datentypen usw. können sich auf den Computeressourcenverbrauch für die Dateimigration auswirken. Clientgebühren werden nur dadurch bestimmt, wie viele Clients pro Sekunde aktiv Daten in Snowflake schreiben.
Wir empfehlen, dass Sie experimentieren, indem Sie einen typischen Streaming-Datenaufnahmeworkload ausführen, um zukünftige Gebühren abzuschätzen. Ein Beispiel für ein Streaming-Datenaufnahme-Experiment mit geschätzten Kosten finden Sie in diesem Blogbeitrag.
Speicherung und Abrechnung von temporären Dateien¶
Obwohl die Snowpipe Streaming-API so konzipiert ist, dass Zeilen direkt in Snowflake-Tabellen geschrieben werden, ohne dass Benutzer Dateien explizit bereitstellen müssen, verwenden die internen Prozesse von Snowflake in Snowpipe Streaming Classic einen transparenten internen Stagingbereich zum temporären Puffern von Daten. Das SDK von Snowpipe Streaming mit klassischer Architektur generiert Zwischendateien und lädt diese in diesen internen Stagingbereich hoch, bevor sie in das native Dateiformat von Snowflake umgewandelt werden.
Snowflake stellt Ihnen den Speicherplatz in Rechnung, der durch diese temporären Dateien im internen Stagingbereich verbraucht wird. Diese Speicherkosten fallen unabhängig von den serverlosen Snowpipe Streaming-Computekosten an und sind unter den allgemeinen „Speicherkosten“ auf Ihrer Snowflake-Rechnung ausgewiesen.
Die Aufbewahrungsfrist für diese temporären Dateien im internen Stagingbereich ist direkt mit der Datenaufbewahrungsdauer für die Zieltabelle (oder der Aufbewahrungsdauer auf Kontoebene, wenn keine bestimmte Tabellenaufbewahrungsdauer festgelegt ist) verbunden. Snowflake löscht diese Dateien automatisch, wenn sie außerhalb des definierten Time Travel-Fensters liegen. In der Regel erfolgt diese Löschung innerhalb eines Tages, nachdem die Daten aus der Aufbewahrungsfrist austreten sind. Benutzer haben keinen direkten Zugriff auf oder Einblick in diese internen Stagingdateien.
Klonen von Tabellen mit Snowpipe Streaming¶
Wenn Benutzer eine Tabelle klonen, die aktiv Daten über Snowpipe Streaming mit klassischer Architektur empfängt, können Benutzer höhere Speicherkosten feststellen. Diese zusätzlichen Kosten sind nicht auf die Duplizierung der zugrunde liegenden Datendateien zurückzuführen. Snowflake führt das Nullkopie-Klonen durch. Stattdessen liegt dies daran, dass sich Daten im Übergang befinden – Daten, die mit dem SDK von Snowpipe Streaming mit klassischer Architektur verarbeitet wurden und vorübergehend im internen Stagingbereich gespeichert werden, aber noch nicht vollständig in die Zieltabelle übertragen wurden – und Dateimigration sowohl für die ursprüngliche Tabelle als auch für den Klon erfordern. Diese doppelte Verarbeitung von temporären Dateien erhöht den Verbrauch durch Dateimigration und führt zu einem höheren Speicherverbrauch. Diese zusätzlichen Kosten sind in der Regel sehr gering und spiegeln maximal etwa 5 Minuten temporärer Dateien wider, könnten aber bei sehr hohem Durchsatz größer sein, wenn das System bei diesen Migrationen Verzögerungen erfährt. Diese Duplizierung führt zu einem erhöhten Speicherverbrauch.
Im Gegensatz dazu bietet Snowpipe Streaming mit einer High-Performance-Architektur echtes Nullkopie-Klonen für Tabellen, die aktiv Streaming-Daten empfangen. Durch die High-Performance-Architektur verhalten sich Klonoperationen wie Standard-Tabellenklone von Snowflake. Das bedeutet, dass nur neue Daten, die nach der Klonoperation geschrieben wurden, zusätzlichen Speicherplatz verbrauchen. Daten, die sich zum Zeitpunkt des Klonens in der Datei befinden, unterliegen nicht dieser doppelten Migration. Dadurch profitieren Sie vom kosteneffizienten Klonen von Streaming-Tabellen.
Anzeigen des Datenladeverlaufs für Ihr Konto¶
Kontoadministratoren (Benutzer mit der Rolle ACCOUNTADMIN) bzw. Benutzer mit einer Rolle, der die globale Berechtigung MONITOR USAGE erteilt wurde, können SQL-Befehle verwenden, um die Ihrem Snowflake-Konto in Rechnung gestellten Credits innerhalb eines bestimmten Zeitraums anzuzeigen. Sie können die folgenden Ansichten verwenden, um den Migrationsverlauf der in Snowflake-Tabellen migrierten Daten, den Zeitaufwand für das Laden von Daten in Snowflake-Tabellen mit Snowpipe Streaming sowie die verbrauchten Credits abzufragen.
Um die gesamten Snowpipe Streaming-Kosten, einschließlich der Rechen- und Client-Kosten, anzuzeigen, fragen Sie den Zählerverlauf ab, wenn SERVICE_TYPE auf SNOWPIPE_STREAMING eingestellt ist.
Weitere Informationen zum Abfragen der gesamten Snowpipe Streaming-Kosten finden Sie in einem SQL-Beispiel.
Um die detaillierten Aufschlüsselungen der Client-Datenaufnahme und der Migrationsberechnungen anzuzeigen, können Sie die folgenden Ansichten abfragen: