Introduction to streams and tasks

O Snowflake oferece suporte a pipelines de dados contínuos com fluxos e tarefas:

Fluxos:

Um objeto de fluxo registra o delta de informações de captura de dados de alteração (CDC) para uma tabela - tal como uma tabela de preparação - incluindo inserções e outras alterações na linguagem de manipulação de dados (DML). Um fluxo permite consultar e consumir um conjunto de alterações em uma tabela, no nível de linha, entre dois pontos de tempo transacionais.

Em um pipeline de dados contínuo, fluxos de tabela registram quando as tabelas de preparação e quaisquer tabelas a jusante são preenchidas com dados de aplicativos comerciais usando carregamento contínuo de dados e estão prontas para continuar o processamento usando instruções SQL.

Para obter mais informações, consulte Introduction to streams.

Tarefas:

A task object runs a SQL statement, which can include calls to stored procedures. Tasks can run on a schedule or based on a trigger that you define, such as the arrival of data. You can use task graphs to chain tasks together, defining directed acyclic graphs (DAGs) to support more complex periodic processing. For more information, see Introdução às tarefas and Criar uma sequência de tarefas com um gráfico de tarefas.

A combinação de tarefas com fluxos de tabelas é uma maneira conveniente e eficiente de processar continuamente dados novos ou alterados. Uma tarefa pode transformar as linhas novas ou alteradas que um fluxo apresenta usando SYSTEM$STREAM_HAS_DATA. Cada vez que uma tarefa é executada, ela pode consumir os dados de alteração ou ignorar a execução atual se não houver dados de alteração.

Para outros recursos de pipeline de dados contínuos, consulte: