Introdução às tarefas¶

Tarefas sem servidor¶

O modelo de computação sem servidor para tarefas permite que você conte com recursos de computação gerenciados pelo Snowflake em vez de warehouses virtuais gerenciados pelo usuário. O Snowflake redimensiona automaticamente os recursos de computação sem servidor conforme necessário para cada carga de trabalho. O Snowflake determina o tamanho ideal dos recursos de computação sem servidor para uma determinada execução com base em uma análise dinâmica de estatísticas para as execuções mais recentes da mesma tarefa. O tamanho máximo de computação para uma tarefa sem servidor é equivalente a um warehouse virtual gerenciado pelo usuário XXLARGE. Múltiplos carregamentos de trabalho em sua conta possuem um conjunto comum de recursos de computação.

Para usar o modelo de computação sem servidor, deixe de fora o parâmetro WAREHOUSE ao criar uma tarefa usando CREATE TASK. Note que a função que executa o comando CREATE TASK deve ter o privilégio global EXECUTE MANAGED TASK. Para obter mais informações sobre os requisitos de controle de acesso para tarefas, consulte Segurança de tarefas.

O faturamento de execuções de tarefas sem servidor é diferente do modelo de consumo de crédito padrão para tarefas que dependem de warehouses virtuais para recursos de computação. Para obter mais informações, consulte Custos da tarefa.

Tarefas gerenciadas pelo usuário¶

Você pode gerenciar os recursos de computação para tarefas individuais especificando um warehouse virtual existente ao criar a tarefa. Esta opção requer que você escolha um warehouse de tamanho adequado para as ações SQL que são executadas pela tarefa.

Escolha do tamanho de um warehouse¶

Se você optar por utilizar os warehouses existentes para fornecer os recursos de computação para tarefas individuais, siga as práticas recomendadas descritas em Considerações sobre warehouses. Para entender as necessidades de computação para sua tarefa, analise o tempo médio de execução para uma única tarefa ou gráfico de tarefa usando diferentes warehouses com base no tamanho do warehouse e no clustering. Você também deve considerar se o warehouse é compartilhado por vários processos.

Para analisar o tempo médio de execução de suas tarefas, consulte a exibição Account Usage TASK_HISTORY. A diferença média entre os tempos agendados e completados para uma tarefa é o tempo médio de execução esperado para a tarefa. Essa diferença inclui o tempo em que a tarefa ficou na fila enquanto outros processos estavam usando os recursos de computação no warehouse.

Para gráficos de tarefa, há um breve atraso após a conclusão da execução de uma tarefa anterior e o início de qualquer tarefa filho. Escolha um tamanho de warehouse grande o suficiente para acomodar várias tarefas filho secundárias executadas simultaneamente.

O diagrama a seguir mostra um período de 1 minuto no qual uma única tarefa ficou em fila por 20 segundos e depois foi executada por 40 segundos. Isso significa que outros processos estavam usando os recursos do warehouse nos primeiros 20 segundos após a tarefa ter sido agendada.

O diagrama a seguir mostra um gráfico da tarefa que requer 5 minutos, em média, para ser completado em cada execução. O diagrama mostra a janela para a conclusão de 2 execuções do gráfico da tarefa. Esse período é calculado a partir do momento em que a tarefa raiz está agendada para começar até que a última tarefa filho tenha terminado de ser executada.

Neste exemplo, o warehouse no qual o gráfico de tarefa está sendo executado é compartilhado com outras operações simultâneas. Estas operações simultâneas consomem todos os recursos disponíveis quando cada tarefa no gráfico da tarefa termina e antes que a próxima tarefa comece a ser executada. Como resultado, a janela para cada tarefa inclui algum tempo de fila de espera enquanto aguarda que outras operações terminem e liberem os recursos de computação.

Recomendações para a escolha de um modelo de cálculo¶

A tabela a seguir descreve vários fatores que podem ajudar você a decidir quando usar tarefas sem servidor versus tarefas gerenciadas pelo usuário:

O tamanho máximo para uma execução de tarefa sem servidor é equivalente a um warehouse XXLARGE. Se a carga de trabalho de uma tarefa exigir um warehouse maior, crie uma tarefa gerenciada pelo usuário com um warehouse do tamanho exigido.

Agendamento de tarefas¶

As tarefas geralmente são executadas de acordo com um cronograma. Você pode definir o cronograma ao criar uma tarefa usando CREATE TASK ou mais tarde usando ALTER TASK.

Uma tarefa autônoma ou a tarefa raiz em um gráfico da tarefa geralmente é executada de acordo com um cronograma. Você pode definir o cronograma ao criar uma tarefa usando CREATE TASK ou mais tarde usando ALTER TASK.

O Snowflake garante que apenas uma instância de uma tarefa com um cronograma seja executada por vez. Se uma tarefa ainda estiver em execução quando o próximo período de execução agendado ocorrer, esse tempo agendado é ignorado.

O Snowflake redimensiona automaticamente os recursos de computação para tarefas sem servidor. Para tarefas gerenciadas pelo usuário, escolha um tamanho de warehouse apropriado para que a tarefa conclua sua carga de trabalho dentro do cronograma. Para obter mais informações, consulte Escolha do tamanho de warehouse.

Tarefas acionadas¶

Você pode usar tarefas acionadas para serem executadas somente quando um fluxo definido tiver novos dados. Isso simplifica um caso de uso comum para consultar frequentemente uma fonte com disponibilidade imprevisível de novos dados e reduz a latência ao processar imediatamente quando há novos dados.

Tarefas acionadas não usam recursos de computação até que o fluxo definido tenha dados e acione a execução da tarefa.

A seguir estão as condições de execução para tarefas acionadas:

• Quando os dados são alterados na tabela que o fluxo associado rastreia.

• Quando a tarefa é retomada pela primeira vez, para consumir todos os dados já existentes no fluxo.

• As tarefas acionadas executam automaticamente uma verificação de integridade a cada 12 horas para evitar que o fluxo fique desatualizado. Se não houver dados no fluxo, o Snowflake ignorará a execução sem usar recursos de computação.

CREATE TASK triggeredTask  WAREHOUSE = my_warehouse
  WHEN system$stream_has_data('my_stream')
  AS
    INSERT INTO my_downstream_table
    SELECT * FROM my_stream;

ALTER TASK triggeredTask RESUME;

ALTER TASK task SUSPEND;
ALTER TASK task UNSET SCHEDULE;
ALTER TASK task RESUME;

Execução manual de tarefas¶

O comando EXECUTE TASK aciona manualmente uma única execução de uma tarefa. Este comando SQL é útil para testar gráficos de tarefa autônomos novos ou modificados antes de habilitá-los para executar o código SQL na produção.

Você pode chamar este comando SQL diretamente em scripts ou em procedimentos armazenados. Além disso, este comando suporta a integração de tarefas em pipelines de dados externos. Qualquer serviço de terceiros que possa autenticar em sua conta Snowflake e autorizar ações SQL pode executar o comando EXECUTE TASK para executar tarefas.

Controle de versão de execuções de tarefas¶

Quando uma tarefa autônoma é retomada primeiro ou executada manualmente, uma versão inicial da tarefa é definida. A tarefa autônoma ou é executada utilizando esta versão. Após uma tarefa ser suspensa e modificada, uma nova versão é definida quando a tarefa autônoma é retomada ou executada manualmente.

Quando a tarefa é suspensa, todas as execuções agendadas futuras da tarefa são canceladas; no entanto, as tarefas em execução no momento continuam sendo executadas usando a versão atual.

Por exemplo, suponha que a tarefa esteja suspensa, mas uma execução agendada desta tarefa já tenha começado. O proprietário da tarefa modifica o código SQL chamado pela tarefa enquanto a tarefa ainda está em execução. A tarefa executa o código SQL em sua definição usando a versão da tarefa que era atual quando a tarefa raiz iniciou sua execução. Quando a tarefa é retomada ou executada manualmente, uma nova versão da tarefa é definida. Esta nova versão inclui as modificações da tarefa filho.

Para recuperar o histórico das versões de tarefas, consulte TASK_VERSIONS Exibição do Account Usage (no banco de dados SNOWFLAKE compartilhado).

Suspensão automática das tarefas após uma execução falhada¶

Opcionalmente, suspende as tarefas automaticamente após um número especificado de execuções consecutivas que falham ou ficam sem tempo. Este recurso pode reduzir custos suspendendo tarefas que consomem créditos do Snowflake, mas que não são executadas até a conclusão.

Defina o parâmetro SUSPEND_TASK_AFTER_NUM_FAILURES = num em uma tarefa. Quando o parâmetro é definido como um valor maior que 0, as tarefas são automaticamente suspensas após o número especificado de execuções consecutivas de tarefas falhar ou atingir o tempo limite.

O parâmetro pode ser definido ao criar uma tarefa usando CREATE TASK ou mais tarde usando ALTER TASK. Você também pode alterar esse valor no Snowsight.

O parâmetro SUSPEND_TASK_AFTER_NUM_FAILURES também pode ser definido no nível de conta, banco de dados ou esquema. A configuração se aplica a todas as tarefas contidas no objeto modificado. Observe que a definição explícita do parâmetro em um nível mais baixo sobrepõe-se ao valor do parâmetro definido em um nível mais alto.

Repetição automática das execuções de tarefa que falharam¶

Se alguma tarefa for concluída em um estado FAILED, o Snowflake poderá tentar repetir a execução da tarefa automaticamente. A nova tentativa automática de tarefa está desabilitada por padrão. Para habilitar esse recurso, defina TASK_AUTO_RETRY_ATTEMPTS para um valor maior que 0.

As tarefas que usam notificações de erro enviam notificações para cada tentativa de repetição com falha. Para obter mais informações, consulte Configuração de uma tarefa para enviar notificações de erro.

Quando você define o valor do parâmetro TASK_AUTO_RETRY_ATTEMPTS ao nível da conta, do banco de dados ou do esquema, a alteração é aplicada às tarefas contidas no objeto modificado durante sua próxima execução agendada.

Privilégios de controle de acesso¶

Criação de funções personalizadas para gerenciar permissões de tarefas¶

Com as funções personalizadas, você pode gerenciar facilmente as permissões concedidas para cada conta ou função no Snowflake. Para fazer alterações nas permissões de todas as contas ou funções usando a função personalizada, atualize a função personalizada. Ou revogue as permissões removendo a função personalizada.

USE SYSADMIN;

CREATE ROLE warehouse_task_creation
  COMMENT = 'This role can create user-managed tasks.';

USE ACCOUNTADMIN;

GRANT CREATE TASK
  ON SCHEMA schema1
  TO ROLE warehouse_task_creation;

GRANT USAGE
  ON WAREHOUSE warehouse1
  TO ROLE warehouse_task_creation;

USE SYSADMIN;

CREATE ROLE serverless_task_creation
  COMMENT = 'This role can create serverless tasks.';

USE ACCOUNTADMIN;

GRANT CREATE TASK
  ON SCHEMA schema1
  TO ROLE serverless_task_creation;

GRANT EXECUTE MANAGED TASK ON ACCOUNT
  TO ROLE serverless_task_creation;

USE ROLE securityadmin;

CREATE ROLE taskadmin;

USE ROLE accountadmin;

GRANT EXECUTE TASK, EXECUTE MANAGED TASK ON ACCOUNT TO ROLE taskadmin;

USE ROLE securityadmin;

GRANT ROLE taskadmin TO ROLE myrole;

Descarte de uma função de proprietário de tarefa¶

Quando você exclui a função de proprietário de uma tarefa, a tarefa transfere a propriedade para a função que removeu a função de proprietário. Quando uma tarefa transfere a propriedade, ela é pausada automaticamente e novas execuções não são agendadas até que o novo proprietário retome a tarefa.

Se você descartar a função enquanto a tarefa estiver em execução, a execução da tarefa concluirá o processamento na função descartada.

Execução de tarefa de serviço do sistema¶

O Snowflake executa tarefas com os privilégios do proprietário da tarefa, mas as execuções de tarefa não estão associadas a um usuário. Ao invés disso, cada execução é realizada por um serviço de sistema. As tarefas são desacopladas de usuários específicos para evitar complicações que podem surgir quando os usuários são descartados, bloqueados devido a problemas de autenticação ou têm suas funções removidas.

Como as execuções de tarefas são desacopladas de um usuário, o histórico de consultas das execuções de tarefas está associado ao serviço do sistema. Como tal, não há credenciais de usuário para este serviço, e nenhum indivíduo pode assumir sua identidade. A atividade para o serviço do sistema é limitada à sua conta. As mesmas proteções de criptografia e outros protocolos de segurança são incorporados a este serviço, assim como são aplicados para outras operações.