Introduction to streams and tasks

Snowflake unterstützt kontinuierliche Datenpipelines mit Streams und Aufgaben:

Streams:

Ein Stream-Objekt zeichnet das Delta der Change Data Capture (CDC)-Informationen für eine Tabelle (z. B. eine Stagingtabelle) auf, einschließlich Einfügungen und anderer Data Manipulation Language (DML)-Änderungen. Ein Stream ermöglicht das Abfragen und Verbrauchen einer Reihe von Änderungen an einer Tabelle auf Zeilenebene zwischen zwei Transaktionszeitpunkten.

In einer kontinuierlichen Daten-Pipeline wird in Tabellen-Streams aufgezeichnet, wann Staging-Tabellen und alle nachgelagerten Tabellen mit Daten aus Geschäftsanwendungen gefüllt werden, wobei das kontinuierliche Laden von Daten verwendet wird, und wann sie mit SQL-Anweisungen weiter verarbeitet werden können.

Weitere Informationen dazu finden Sie unter Introduction to streams.

Aufgaben:

A task object runs a SQL statement, which can include calls to stored procedures. Tasks can run on a schedule or based on a trigger that you define, such as the arrival of data. You can use task graphs to chain tasks together, defining directed acyclic graphs (DAGs) to support more complex periodic processing. For more information, see Einführung in Aufgaben and Erstellen Sie eine Sequenz von Aufgaben mit einem Task-Graphen.

Die Kombination von Aufgaben mit Tabellen-Streams ist eine bequeme und leistungsstarke Methode zur kontinuierlichen Verarbeitung neuer oder geänderter Daten. Eine Aufgabe kann neue oder geänderte Zeilen, die ein Stream anzeigt, mit SYSTEM$STREAM_HAS_DATA umwandeln. Jedes Mal, wenn eine Aufgabe ausgeführt wird, kann sie entweder die Änderungsdaten verbrauchen oder die aktuelle Ausführung überspringen, wenn keine Änderungsdaten vorhanden sind.

Weitere Features für kontinuierliche Datenpipelines finden Sie unter: