Introdução a fluxos e tarefas

O Snowflake oferece suporte a pipelines de dados contínuos com fluxos e tarefas:

Fluxos:

Um objeto de fluxo registra o delta de informações de captura de dados de alteração (CDC) para uma tabela - tal como uma tabela de preparação - incluindo inserções e outras alterações na linguagem de manipulação de dados (DML). Um fluxo permite consultar e consumir um conjunto de alterações em uma tabela, no nível de linha, entre dois pontos de tempo transacionais.

Em um pipeline de dados contínuo, fluxos de tabela registram quando as tabelas de preparação e quaisquer tabelas a jusante são preenchidas com dados de aplicativos comerciais usando carregamento contínuo de dados e estão prontas para continuar o processamento usando instruções SQL.

Para obter mais informações, consulte Introdução a fluxos.

Tarefas:

Um objeto tarefa define um cronograma recorrente para executar uma instrução SQL, incluindo instruções que chamam procedimentos armazenados. As tarefas podem ser encadeadas para uma execução sucessiva a fim de oferecer suporte a um processamento periódico mais complexo.

Opcionalmente, as tarefas podem usar fluxos de tabela para oferecer uma forma conveniente de processar continuamente dados novos ou alterados. Uma tarefa pode transformar linhas novas ou alteradas evidenciadas por um fluxo. Cada vez que uma tarefa é programada para ser executada, ela pode verificar se um fluxo contém dados de alteração para uma tabela (usando SYSTEM$STREAM_HAS_DATA) e consumir os dados de alteração ou pular a execução atual, caso não existiam dados de alteração.

Os usuários podem definir uma estrutura de tarefa simples em forma de árvore que executa instruções SQL consecutivas para processar dados e movê-los para várias tabelas de destino.

Para obter mais informações, consulte Introdução às tarefas.

Para outros recursos de pipeline de dados contínuos, consulte:

Linguagem: Português