Introdução a fluxos e tarefas

O Snowflake oferece suporte a pipelines de dados contínuos com fluxos e tarefas:

Fluxos:

Um objeto de fluxo registra o delta de informações de captura de dados de alteração (CDC) para uma tabela - tal como uma tabela de preparação - incluindo inserções e outras alterações na linguagem de manipulação de dados (DML). Um fluxo permite consultar e consumir um conjunto de alterações em uma tabela, no nível de linha, entre dois pontos de tempo transacionais.

Em um pipeline de dados contínuo, fluxos de tabela registram quando as tabelas de preparação e quaisquer tabelas a jusante são preenchidas com dados de aplicativos comerciais usando carregamento contínuo de dados e estão prontas para continuar o processamento usando instruções SQL.

Para obter mais informações, consulte Introdução a fluxos.

Tarefas:

Um objeto tarefa executa uma instrução SQL, que pode incluir chamadas a procedimentos armazenados. As tarefas podem ser executadas de acordo com um cronograma ou com base em um acionador definido por você, como a chegada de dados. É possível usar gráficos de tarefa para encadear tarefas, definindo gráficos acíclicos direcionados (DAGs) para dar suporte a um processamento periódico mais complexo. Para obter mais informações, consulte Introdução às tarefas e Gerenciamento de dependências de tarefa com gráficos de tarefa.

A combinação de tarefas com fluxos de tabelas é uma maneira conveniente e eficiente de processar continuamente dados novos ou alterados. Uma tarefa pode transformar as linhas novas ou alteradas que um fluxo apresenta usando SYSTEM$STREAM_HAS_DATA. Cada vez que uma tarefa é executada, ela pode consumir os dados de alteração ou ignorar a execução atual se não houver dados de alteração.

Para outros recursos de pipeline de dados contínuos, consulte:

Linguagem: Português