Introdução às tarefas¶

Tarefas sem servidor¶

O modelo de computação sem servidor para tarefas permite que você conte com recursos de computação gerenciados pelo Snowflake em vez de warehouses virtuais gerenciados pelo usuário. Os recursos de computação são automaticamente redimensionados pelo Snowflake, conforme necessário para cada carga de trabalho. O Snowflake determina o tamanho ideal dos recursos de computação sem servidor para uma determinada execução com base em uma análise dinâmica de estatísticas para as execuções mais recentes da mesma tarefa. O tamanho máximo de computação para uma tarefa sem servidor é equivalente a um warehouse virtual gerenciado pelo usuário XXLARGE. Múltiplos carregamentos de trabalho em sua conta possuem um conjunto comum de recursos de computação.

Para ativar o modelo de computação sem servidor, você deve omitir o parâmetro WAREHOUSE ao criar uma tarefa usando CREATE TASK. Note que a função que executa o comando CREATE TASK deve ter o privilégio global EXECUTE MANAGED TASK. Para obter mais informações sobre os requisitos de controle de acesso para tarefas, consulte Segurança de tarefas.

O faturamento de execuções de tarefas sem servidor é diferente do modelo de consumo de crédito padrão para tarefas que dependem de warehouses virtuais para recursos de computação. Para obter mais informações, consulte Custos da tarefa.

Tarefas gerenciadas pelo usuário¶

Se preferir, você pode gerenciar os recursos de computação para tarefas individuais especificando um warehouse virtual existente ao criar a tarefa. Esta opção requer que você escolha um warehouse de tamanho adequado para as ações SQL que são executadas pela tarefa.

Escolha do tamanho de um warehouse¶

Se você optar por utilizar os warehouses existentes para fornecer os recursos de computação para tarefas individuais, recomendamos seguir as práticas recomendadas descritas em Considerações sobre warehouses. Sugerimos que você analise o tempo médio de execução de uma única tarefa ou gráfico da tarefa de tarefas usando um warehouse específico com base no tamanho e clustering do warehouse, bem como se o warehouse é ou não compartilhado por múltiplos processos ou se é dedicado à execução desta única tarefa ou gráfico da tarefa.

Consulte a TASK_HISTORY exibição Account Usage (no banco de dados compartilhado SNOWFLAKE). A diferença média entre os tempos agendados e completados para uma tarefa é o tempo médio de execução esperado para a tarefa, incluindo qualquer período em que a tarefa esteve enfileirada. Uma tarefa é enfileirada quando outros processos estão utilizando todos os recursos de computação do warehouse.

A menos que as instruções SQL definidas para as tarefas possam ser otimizadas (seja regravando as instruções ou usando procedimentos armazenados), então este seria o tempo médio esperado de execução da tarefa ou gráfico da tarefa. Escolha o tamanho certo para o warehouse com base em sua análise para garantir que a tarefa ou gráfico da tarefa termine de ser executada dentro dessa janela.

O diagrama a seguir mostra um período de 1 minuto no qual uma única tarefa ficou em fila por 20 segundos e depois foi executada por 40 segundos.

O diagrama a seguir mostra um gráfico da tarefa que requer 5 minutos, em média, para ser completado em cada execução. O diagrama mostra a janela para a conclusão de 2 execuções do gráfico da tarefa. Essa janela é calculada a partir do momento em que a tarefa raiz está agendada para começar até que a última tarefa filha no gráfico da tarefa tenha terminado de ser executada. Neste exemplo, o gráfico da tarefa é compartilhado com outras operações simultâneas que fazem fila enquanto cada uma das 3 tarefas do gráfico da tarefa está em execução. Estas operações simultâneas consomem todos os recursos disponíveis quando cada tarefa no gráfico da tarefa termina e antes que a próxima tarefa comece a ser executada. Como resultado, o período para cada tarefa inclui algum tempo de fila de espera enquanto aguarda que outras operações terminem e liberem os recursos de computação.

Note que mesmo que este gráfico da tarefa fosse executado em um warehouse dedicado, um breve atraso seria esperado após uma tarefa predecessora terminar e qualquer tarefa filha ser executada; entretanto, nenhum enfileiramento de recursos compartilhados com outras operações ocorreria. O tamanho do warehouse que você escolher deve ser grande o suficiente para acomodar várias tarefas filhas que são acionadas simultaneamente pelas tarefas predecessoras.

Recomendações para a escolha de um modelo de cálculo¶

A tabela a seguir descreve vários fatores que podem ajudar você a decidir quando usar tarefas sem servidor versus tarefas gerenciadas pelo usuário:

Observe que o tamanho máximo para uma execução de tarefa sem servidor é equivalente a um warehouse XXLARGE. Se a carga de trabalho de uma tarefa exigir um warehouse maior, crie uma tarefa gerenciada pelo usuário que faça referência a um warehouse do tamanho exigido.

Agendamento de tarefas e horário de verão¶

A expressão cron em uma definição de tarefa suporta a especificação de um fuso horário. Uma tarefa agendada é executada de acordo com a expressão cron especificada na hora local para um determinado fuso horário. Deve-se tomar cuidado especial com relação ao agendamento de tarefas para os fusos horários que reconhecem o horário de verão. As tarefas agendadas durante horários específicos em dias em que ocorre a transição do horário padrão para o horário de verão (ou o inverso) podem ter comportamentos inesperados.

Por exemplo:

• Durante a mudança do horário de verão para o horário padrão que ocorre no outono do hemisfério norte, uma tarefa programada para começar à 1h no fuso horário de América/Los_Angeles (isto é, 0 1 * * * America/Los_Angeles) seria executada duas vezes: uma vez à 1h e depois novamente quando 1h59min59s muda para 1h00min00s hora local. Ou seja, há dois momentos em que a hora local é 1h.

• Durante a mudança do horário padrão para o horário de verão que ocorre na primavera do hemisfério norte, uma tarefa programada para começar às 2h no fuso horário de América/Los_Angeles (isto é, 0 2 * * * America/Los_Angeles) não seria executada porque a hora local muda de 1h59min59s muda para 3h00min00s. Isto é, não há nenhum momento durante aquele dia em que a hora local é 2h.

Para evitar execuções de tarefa inesperadas devido ao horário de verão, use uma destas opções:

• Não agende tarefas para um horário específico entre 1h e 3h (diariamente ou em dias da semana, incluindo domingo), ou

• Ajuste manualmente a expressão cron para tarefas agendadas durante essas horas duas vezes por ano para compensar a mudança de horário devido ao horário de verão ou

• Utilize um formato de horário que não aplique o horário de verão, tal como UTC.

Propriedade da tarefa¶

Todas as tarefas em um gráfico da tarefa devem ter o mesmo proprietário (uma única função deve ter o privilégio OWNERSHIP sobre todas as tarefas) e ser armazenadas no mesmo banco de dados e esquema.

A transferência de propriedade de uma tarefa corta a dependência entre essa tarefa e qualquer tarefa predecessora e filha. Para obter mais informações, consulte Vínculo cortado entre tarefas predecessoras e filhas (neste tópico).

Quando a propriedade de todas as tarefas em um gráfico da tarefa é transferida de uma vez, através de uma das seguintes atividades, as relações entre todas as tarefas no gráfico de tarefas são mantidas:

• O atual proprietário de todas as tarefas que compõem o gráfico da tarefa é descartado (usando DROP ROLE). A propriedade dos objetos da função descartada é transferida para a função que executa o comando DROP ROLE.

• A propriedade de todas as tarefas que compõem o gráfico da tarefa é explicitamente transferida para outra função (por exemplo, executando GRANT OWNERSHIP em todas as tarefas de um esquema).

Sobreposição de execuções de gráficos da tarefa¶

Por padrão, o Snowflake assegura que apenas uma instância de um determinado gráfico da tarefa seja autorizada a funcionar de cada vez. A próxima execução de uma tarefa raiz só é programada depois que todas as tarefas no gráfico da tarefa tiverem terminado. Isto significa que se o tempo acumulado necessário para executar todas as tarefas no gráfico da tarefa exceder o tempo explicitamente programado determinado na definição da tarefa raiz, pelo menos uma execução do gráfico de tarefas é ignorada. O comportamento é controlado pelo parâmetro ALLOW_OVERLAPPING_EXECUTION na tarefa raiz; o valor padrão é FALSE. A definição do valor do parâmetro como TRUE permite que execuções do gráfico da tarefa se sobreponham.

Além disso, uma tarefa filha começa sua execução somente depois que todas as tarefas predecessoras da tarefa filha tenham completado com sucesso suas próprias execuções. Uma tarefa que executa operações SQL demoradas atrasa o início de qualquer tarefa filha que identifique a tarefa como predecessora.

No exemplo a seguir, uma execução do gráfico da tarefa está programada para começar quando uma execução anterior ainda não foi concluída. O período de sobreposição, ou simultaneidade, é identificado em vermelho. O diagrama também identifica o intervalo de tempo em que cada tarefa é enfileirada antes de ser executada no warehouse administrado pelo usuário. Observe que se você usar recursos de computação sem servidor, não haverá período de fila:

As execuções sobrepostas podem ser toleradas (ou mesmo desejáveis) quando operações SQL de leitura/escrita realizadas por execuções sobrepostas de um gráfico da tarefa não produzem dados incorretos ou duplicados. Entretanto, para outros gráficos da tarefa, os proprietários das tarefas (a função com o privilégio OWNERSHIP em todas as tarefas no gráfico da tarefa) devem definir um cronograma apropriado na tarefa raiz e escolher um tamanho de warehouse apropriado (ou usar recursos de computação sem servidor) para garantir que uma instância do gráfico da tarefa termine a conclusão antes que a tarefa raiz seja agendada.

Para alinhar melhor um gráfico da tarefa com o cronograma definido na tarefa raiz:

1. Se possível, aumente o tempo de agendamento entre as execuções da tarefa raiz.

2. Considere modificar tarefas de computação pesadas para usar recursos de computação sem servidor. Se a tarefa depender de recursos de computação gerenciados pelo usuário, aumente o tamanho do warehouse que executa instruções SQL grandes ou complexas ou procedimentos armazenados no gráfico da tarefa.

3. Analise as instruções SQL ou procedimentos armazenados executados por cada tarefa. Determine se o código pode ser reescrito para aproveitar o processamento paralelo.

Se nenhuma das soluções acima ajudar, considere se é necessário permitir execuções simultâneas do gráfico da tarefa definindo ALLOW_OVERLAPPING_EXECUTION = TRUE na tarefa raiz. Este parâmetro pode ser definido ao criar uma tarefa (usando CREATE TASK) ou mais tarde (usando ALTER TASK).

Visualização de tarefas dependentes em um gráfico da tarefa¶

Para ver as tarefas filhas diretas para uma tarefa raiz ou todas as tarefas em um gráfico da tarefa:

SQL:

Consulte a função de tabela TASK_DEPENDENTS (no Snowflake Information Schema). Para recuperar todas as tarefas em um gráfico da tarefa, insira a tarefa raiz ao chamar a função. Se você inserir uma tarefa filha, a função retorna os filhos (e os filhos desses filhos, etc.) da tarefa especificada.

Execuções do gráfico da tarefa com tarefas filhas suspensas¶

Quando a tarefa raiz é suspensa, você pode retomar ou suspender qualquer tarefa filha usando ALTER TASK … RESUME | SUSPEND. A retomada de qualquer tarefa filha suspensa não é necessária antes que você retome a tarefa raiz.

Quando um gráfico da tarefa é executado com uma ou mais tarefas filhas suspensas, a execução ignora essas tarefas. Uma tarefa filha com múltiplos predecessores é executada desde que pelo menos um dos predecessores esteja em um estado de retomada, e todos os predecessores retomados sejam executados com sucesso até a conclusão.

Retomada de tarefas suspensas em um gráfico da tarefa¶

Para retomar recursivamente todas as tarefas em um gráfico da tarefa, consulte a função SYSTEM$TASK_DEPENDENTS_ENABLE em vez de retomar cada tarefa individualmente (usando ALTER TASK … RESUME).

Vínculo cortado entre tarefas predecessoras e filhas¶

As dependências entre tarefas em um gráfico da tarefa podem ser cortadas como resultado de qualquer uma das seguintes ações:

• ALTER TASK … REMOVE AFTER e ALTER TASK … UNSET FINALIZE removem o vínculo entre a tarefa de destino e as tarefas predecessoras especificadas ou a tarefa raiz finalizada.

• DROP TASK e GRANT OWNERSHIP corta todos os vínculos da tarefa de destino. Por exemplo, a tarefa raiz A tem a tarefa filho B e a tarefa B tem a tarefa filho C. Se você descartar a tarefa B, o vínculo entre as tarefas A e B será cortado, assim como o vínculo entre as tarefas B e C.

Se qualquer combinação das ações acima cortar a relação entre a tarefa filha e todos os predecessores, a tarefa filha anterior torna-se uma tarefa autônoma ou uma tarefa raiz, dependendo se outras tarefas identificam a tarefa como sua predecessora.

Tarefa finalizadora¶

Uma tarefa finalizadora trata do lançamento e limpeza de recursos que um gráfico da tarefa usa. A tarefa finalizadora terá execução garantida se o gráfico da tarefa for executado e garantirá a limpeza adequada dos recursos e a conclusão das etapas necessárias em todos os cenários. Por exemplo, se uma execução de gráfico da tarefa usar tabelas intermediárias para rastrear dados para processamento e falhar antes que as linhas da tabela sejam consumidas, a próxima execução encontrará linhas duplicadas e reprocessará os dados, resultando em tempo de execução mais longo ou desperdício de recursos de computação. A tarefa finalizadora pode resolver esse problema descartando as linhas ou truncando a tabela conforme necessário.

A tarefa finalizadora funciona como qualquer outra tarefa em um gráfico da tarefa, com as seguintes diferenças:

• Uma tarefa finalizadora está sempre associada a uma tarefa raiz. Cada tarefa raiz pode ter apenas uma tarefa finalizadora, e uma tarefa finalizadora só pode ser associada a uma tarefa raiz.

• Uma tarefa finalizadora é agendada somente quando nenhuma outra tarefa está em execução ou na fila na execução do gráfico da tarefa atual e pelo menos uma tarefa no gráfico iniciou a execução. Se um gráfico for ignorado (por exemplo, a tarefa raiz for ignorada), a tarefa finalizadora não será executada. Se ALLOW_OVERLAPPING_EXECUTION for verdadeiro, a tarefa finalizadora se comportará como as outras tarefas e ainda será agendada mesmo se houver outras execuções do gráfico da tarefa em andamento.

• Uma tarefa finalizadora não pode ter tarefas secundárias. Qualquer comando que tente transformar a tarefa finalizadora em uma predecessora falhará. A criação de uma tarefa finalizadora deve incluir a palavra-chave FINALIZE, que é incompatível com as palavras-chave SCHEDULE e AFTER.

Para criar uma tarefa finalizadora, crie uma tarefa usando a palavra-chave FINALIZE e defina um relacionamento com a tarefa raiz:

CREATE TASK <TASK_NAME> ...
... FINALIZE = <ROOT_TASK_NAME>

Para obter mais informações, consulte CREATE TASK.

Privilégios de controle de acesso¶

Criação de uma função de administrador de tarefas¶

Para facilitar o uso, recomendamos a criação de uma função personalizada (por exemplo, taskadmin) e a atribuição do privilégio EXECUTE TASK a esta função. Qualquer função que possa conceder privilégios (por exemplo, SECURITYADMIN ou qualquer função com o privilégio MANAGE GRANTS) pode então conceder esta função personalizada a qualquer função de proprietário da tarefa para permitir a alteração de suas próprias tarefas. Para remover a capacidade de o proprietário executar a tarefa, é necessário apenas revogar esta função personalizada na função de proprietário da tarefa. Observe que se você optar por não criar esta função personalizada, um administrador de conta precisa revogar o privilégio EXECUTE TASK da função de proprietário da tarefa.

Por exemplo, crie um nome de função personalizado taskadmin e conceda a essa função o privilégio EXECUTE TASK. Atribua a função taskadmin a uma função de proprietário de tarefa chamada myrole:

USE ROLE securityadmin;

CREATE ROLE taskadmin;

-- set the active role to ACCOUNTADMIN before granting the account-level privileges to the new role
USE ROLE accountadmin;

GRANT EXECUTE TASK, EXECUTE MANAGED TASK ON ACCOUNT TO ROLE taskadmin;

-- set the active role to SECURITYADMIN to show that this role can grant a role to another role
USE ROLE securityadmin;

GRANT ROLE taskadmin TO ROLE myrole;

Para obter mais informações sobre a criação de funções personalizadas e hierarquias de funções, consulte Configuração do controle de acesso.

Descarte de uma função de proprietário de tarefa¶

Quando a função de proprietário de uma determinada tarefa (ou seja, a função com o privilégio OWNERSHIP para a tarefa) é excluída, a tarefa é recuperada pela função que descartou a função de proprietário. Isto assegura que a propriedade passe para uma função que esteja mais próxima da raiz da hierarquia de funções. Quando uma tarefa é recuperada, ela é automaticamente pausada, ou seja, todas as execuções atualmente em processamento são completadas, mas novas execuções não são agendadas até que a tarefa seja retomada explicitamente pelo novo proprietário. A razão para isto é impedir que um usuário com acesso a uma função específica deixe para trás tarefas que subitamente são executadas com permissões mais altas quando a função é removida.

Se a função sob a qual uma tarefa está sendo executada for descartada, a tarefa completa seu processamento sob a função descartada.