Gerenciamento de dependências de tarefa com gráficos de tarefa¶

Execução manual de tarefas em um gráfico de tarefa¶

O comando EXECUTE TASK aciona manualmente uma única execução de uma tarefa, independentemente do cronograma definido para a tarefa. Uma execução bem-sucedida de uma tarefa raiz aciona uma execução em cascata de tarefas filhas no gráfico de tarefas quando a tarefa anterior é concluída, como se a tarefa raiz tivesse sido executada em seu cronograma definido.

Você também pode usar EXECUTE TASK <name> RETRY LAST para executar novamente qualquer tarefa filho em um gráfico de tarefa. RETRY LAST tenta executar o gráfico de tarefa a partir da última tarefa com falha. Se a tarefa for bem-sucedida, todas as tarefas filho continuarão sendo executadas conforme suas tarefas precedentes forem concluídas.

Este comando SQL é útil para testar gráficos de tarefa novos ou modificados antes de habilitá-los a executar o código SQL na produção.

Sobreposição de execuções de gráficos da tarefa¶

Por padrão, o Snowflake assegura que apenas uma instância de um determinado gráfico da tarefa seja autorizada a funcionar de cada vez. A próxima execução de uma tarefa raiz só é programada depois que todas as tarefas no gráfico da tarefa tiverem terminado. Isto significa que se o tempo acumulado necessário para executar todas as tarefas no gráfico da tarefa exceder o tempo explicitamente programado determinado na definição da tarefa raiz, pelo menos uma execução do gráfico de tarefas é ignorada. O comportamento é controlado pelo parâmetro ALLOW_OVERLAPPING_EXECUTION na tarefa raiz; o valor padrão é FALSE. A definição do valor do parâmetro como TRUE permite que execuções do gráfico da tarefa se sobreponham.

Além disso, uma tarefa filha começa sua execução somente depois que todas as tarefas predecessoras da tarefa filha tenham completado com sucesso suas próprias execuções. Uma tarefa que executa operações SQL demoradas atrasa o início de qualquer tarefa filha que identifique a tarefa como predecessora.

No exemplo a seguir, uma execução do gráfico da tarefa está programada para começar quando uma execução anterior ainda não foi concluída. O período de sobreposição, ou simultaneidade, é identificado em vermelho. O diagrama também identifica o intervalo de tempo em que cada tarefa é enfileirada antes de ser executada no warehouse administrado pelo usuário. Observe que se você usar recursos de computação sem servidor, não haverá período de fila:

As execuções sobrepostas podem ser toleradas (ou mesmo desejáveis) quando operações SQL de leitura/escrita realizadas por execuções sobrepostas de um gráfico da tarefa não produzem dados incorretos ou duplicados. Entretanto, para outros gráficos da tarefa, os proprietários das tarefas (a função com o privilégio OWNERSHIP em todas as tarefas no gráfico da tarefa) devem definir um cronograma apropriado na tarefa raiz e escolher um tamanho de warehouse apropriado (ou usar recursos de computação sem servidor) para garantir que uma instância do gráfico da tarefa termine a conclusão antes que a tarefa raiz seja agendada.

Para alinhar melhor um gráfico da tarefa com o cronograma definido na tarefa raiz:

1. Se possível, aumente o tempo de agendamento entre as execuções da tarefa raiz.

2. Considere modificar tarefas de computação pesadas para usar recursos de computação sem servidor. Se a tarefa depender de recursos de computação gerenciados pelo usuário, aumente o tamanho do warehouse que executa instruções SQL grandes ou complexas ou procedimentos armazenados no gráfico da tarefa.

3. Analise as instruções SQL ou procedimentos armazenados executados por cada tarefa. Determine se o código pode ser reescrito para aproveitar o processamento paralelo.

Se nenhuma das soluções acima ajudar, considere se é necessário permitir execuções simultâneas do gráfico da tarefa definindo ALLOW_OVERLAPPING_EXECUTION = TRUE na tarefa raiz. Este parâmetro pode ser definido ao criar uma tarefa (usando CREATE TASK) ou mais tarde (usando ALTER TASK ou no Snowsight).

Suspensão e retomada de tarefas em um gráfico de tarefa¶

Para suspender ou retomar uma tarefa em um gráfico de tarefa, use ALTER TASK … RESUME | SUSPEND ou o Snowsight.

Suspensão de uma tarefa raiz

Quando a tarefa raiz é suspensa, todas as futuras execuções agendadas da tarefa raiz são canceladas; entretanto, se alguma tarefa estiver em execução no momento, essas tarefas e quaisquer tarefas descendentes continuam sendo executadas.

Retomada e suspensão de tarefas filho

Para retomar ou suspender uma tarefa filho, é necessário suspender a tarefa raiz. Não é necessário retomar tarefas filho suspensas para retomar a tarefa raiz.

Retomada recursiva de tarefas

Para retomar recursivamente todas as tarefas em um gráfico de tarefa, consulte a função SYSTEM$TASK_DEPENDENTS_ENABLE.

Execuções do gráfico da tarefa com tarefas filhas suspensas

Quando um gráfico da tarefa é executado com uma ou mais tarefas filhas suspensas, a execução ignora essas tarefas. Uma tarefa filha com múltiplos predecessores é executada desde que pelo menos um dos predecessores esteja em um estado de retomada, e todos os predecessores retomados sejam executados com sucesso até a conclusão.

Controle de versão do gráfico de tarefa¶

Quando a tarefa raiz em um gráfico de tarefa é retomada ou executada manualmente, o Snowflake define uma versão de todo o gráfico de tarefa, incluindo todas as propriedades de todas as tarefas no gráfico de tarefa. Após uma tarefa ser suspensa e modificada, o Snowflake define uma nova versão quando a tarefa raiz é retomada ou executada manualmente.

Para modificar ou recriar qualquer tarefa em um gráfico de tarefa, a tarefa raiz deve primeiro ser suspensa. Quando a tarefa raiz é suspensa, todas as futuras execuções agendadas da tarefa raiz são canceladas; entretanto, se alguma tarefa estiver sendo executada, essas tarefas e quaisquer tarefas descendentes continuam a ser executadas usando a versão atual.

Por exemplo, suponha que a tarefa raiz em um gráfico da tarefa esteja suspensa, mas uma execução programada desta tarefa já tenha começado. O proprietário de todas as tarefas no gráfico da tarefa modifica o código SQL chamado por uma tarefa filha enquanto a tarefa raiz ainda está em execução. A tarefa filha executa o código SQL em sua definição usando a versão do gráfico da tarefa que era atual quando a tarefa raiz iniciou sua execução. Quando a tarefa raiz é retomada ou é executada manualmente, uma nova versão do gráfico da tarefa é definida. Esta nova versão inclui as modificações da tarefa filha.

Para recuperar o histórico das versões de tarefas, consulte TASK_VERSIONS Exibição do Account Usage (no banco de dados SNOWFLAKE compartilhado).

Suspender automaticamente gráficos de tarefa após execuções de tarefas com falha¶

Opcionalmente, suspenda os gráficos de tarefa automaticamente após um número especificado de tarefas consecutivas que falham ou atingem o tempo limite.

Defina o parâmetro SUSPEND_TASK_AFTER_NUM_FAILURES = num na tarefa raiz em um gráfico de tarefa. Quando o parâmetro é definido como um valor maior que 0, a tarefa raiz é suspensa automaticamente depois que qualquer tarefa filho no gráfico de tarefa falhar consecutivamente ou atingir o tempo limite especificado. A tarefa filha que falha ou expira não é suspensa.

Repetição automática das execuções de gráficos de tarefa que falharam¶

Especifica o número de tentativas automáticas de repetição do gráfico de tarefas. Se algum gráfico de tarefas for concluído em um estado FAILED, o Snowflake poderá tentar novamente automaticamente os gráficos da tarefa da última tarefa no gráfico que falhou.

A nova tentativa automática do gráfico de tarefas está desabilitada por padrão. Para ativar esse recurso, defina TASK_AUTO_RETRY_ATTEMPTS como um valor maior que 0.