Introdução às tarefas¶

Recursos de computação¶

As tarefas exigem recursos de computação para executar código SQL. Qualquer um dos modelos de computação a seguir pode ser escolhido para tarefas individuais:

• Gerenciado pelo Snowflake (ou seja, um modelo de computação sem servidor)

• Gerenciado pelo usuário (ou seja, warehouse virtual)

Tarefas gerenciadas pelo usuário¶

Se preferir, você pode gerenciar os recursos de computação para tarefas individuais especificando um warehouse virtual existente ao criar a tarefa. Esta opção requer que você escolha um warehouse de tamanho adequado para as ações SQL que são executadas pela tarefa.

Escolha do tamanho de um warehouse¶

Se você optar por utilizar os warehouses existentes para fornecer os recursos de computação para tarefas individuais, recomendamos seguir as práticas recomendadas descritas em Considerações sobre warehouses. Sugerimos que você analise o tempo médio de execução de uma única tarefa ou DAG de tarefas usando um warehouse específico com base no tamanho e clustering do warehouse, bem como se o warehouse é ou não compartilhado por múltiplos processos ou se é dedicado à execução desta única tarefa (ou DAG).

Consulte a TASK_HISTORY exibição Account Usage (no banco de dados compartilhado SNOWFLAKE). A diferença média entre os tempos agendados e completados para uma tarefa é o tempo médio de execução esperado para a tarefa, incluindo qualquer período em que a tarefa esteve enfileirada. Uma tarefa é enfileirada quando outros processos estão utilizando todos os recursos de computação do warehouse.

A menos que as instruções SQL definidas para as tarefas possam ser otimizadas (seja regravando as instruções ou usando procedimentos armazenados), então este seria o tempo médio esperado de execução da tarefa (ou DAG). Escolha o tamanho certo para o warehouse com base em sua análise para garantir que a tarefa (ou DAG) termine de ser executada dentro desse período.

O diagrama a seguir mostra um período de 1 minuto no qual uma única tarefa ficou em fila por 20 segundos e depois foi executada por 40 segundos.

O diagrama a seguir mostra um DAG que requer 5 minutos, em média, para ser completado em cada execução. O diagrama mostra o período para a conclusão de 2 execuções do DAG. Esse período é calculado a partir do momento em que a tarefa raiz está agendada para começar até que a última tarefa filha no DAG tenha terminado de ser executada. Neste exemplo, o DAG é compartilhado com outras operações simultâneas que fazem fila enquanto cada uma das 3 tarefas do DAG está em execução. Estas operações simultâneas consomem todos os recursos disponíveis quando cada tarefa no DAG termina e antes que a próxima tarefa comece a ser executada. Como resultado, o período para cada tarefa inclui algum tempo de fila de espera enquanto aguarda que outras operações terminem e liberem os recursos de computação.

Note que mesmo que este DAG fosse executado em um warehouse dedicado, um breve atraso seria esperado após uma tarefa predecessora terminar e qualquer tarefa filha ser executada; entretanto, nenhum enfileiramento de recursos compartilhados com outras operações ocorreria. O tamanho do warehouse que você escolher deve ser grande o suficiente para acomodar várias tarefas filhas que são acionadas simultaneamente pelas tarefas predecessoras.

Agendamento de tarefas¶

Uma tarefa autônoma ou a tarefa raiz em um DAG geralmente é executada de acordo com um cronograma. Você pode definir o cronograma ao criar uma tarefa (usando CREATE TASK) ou mais tarde (usando ALTER TASK).

O Snowflake garante que apenas uma instância de uma tarefa com um cronograma (ou seja, uma tarefa autônoma ou a tarefa raiz em um DAG) seja executada em um determinado momento. Se uma tarefa ainda estiver em execução quando o próximo período de execução agendado ocorrer, esse tempo agendado é ignorado.

O Snowflake redimensiona automaticamente os recursos de computação para tarefas sem servidor. Para tarefas que dependem de um warehouse para fornecer recursos de computação, escolha um tamanho de warehouse apropriado para uma determinada tarefa completar sua carga de trabalho dentro do cronograma definido. Para obter mais informações, consulte Escolha do tamanho de um warehouse (neste tópico).

DAG de tarefas¶

Um Gráfico acíclico dirigido (DAG) é uma série de tarefas composta de uma única tarefa raiz e tarefas adicionais, organizadas por suas dependências. DAGs fluem em uma única direção, o que significa que uma tarefa mais adiante na série não pode provocar a execução de uma tarefa anterior (ou seja, um loop). Cada tarefa (exceto a tarefa raiz) pode ter múltiplas tarefas predecessoras (dependências); da mesma forma, cada tarefa pode ter múltiplas tarefas subsequentes (filhas) que dependem dela. Uma tarefa só é executada depois de todas as tarefas anteriores terem sido concluídas com sucesso.

A tarefa raiz deve ter um cronograma definido que inicie uma execução do DAG. Cada uma das outras tarefas tem pelo menos um predecessor definido para vincular as tarefas no DAG. Uma tarefa filha só é executada depois de todas as tarefas predecessoras terem sido concluídas com sucesso.

Você pode especificar as tarefas predecessoras ao criar uma nova tarefa (usando CREATE TASK … AFTER) ou posterior (usando ALTER TASK … ADD AFTER). O DAG é limitado a um máximo de 1.000 tarefas no total (incluindo a tarefa raiz). Uma única tarefa pode ter um máximo de 100 tarefas predecessoras e 100 tarefas filhas.

No exemplo básico a seguir, a tarefa raiz faz as Tarefas B e C serem executadas simultaneamente. A tarefa D é executada quando ambas as tarefas B e C são completadas.

O exemplo prático a seguir mostra como um DAG pode ser usado para atualizar tabelas de dimensões em um banco de dados de vendas antes de agregar dados factuais:

Um outro exemplo mostra a tarefa final em um DAG chamando uma função externa para acionar um serviço de mensagens remotas para enviar uma notificação de que todas as tarefas anteriores foram executadas com sucesso até a conclusão.

Sobreposição de execuções do DAG¶

Por padrão, o Snowflake assegura que apenas uma instância de um determinado DAG seja autorizada a funcionar de cada vez. A próxima execução de uma tarefa raiz só é programada depois que todas as tarefas no DAG tiverem terminado. Isto significa que se o tempo acumulado necessário para executar todas as tarefas no DAG exceder o tempo explicitamente programado determinado na definição da tarefa raiz, pelo menos uma execução do DAG é ignorada. O comportamento é controlado pelo parâmetro ALLOW_OVERLAPPING_EXECUTION na tarefa raiz; o valor padrão é FALSE. A definição do valor do parâmetro como TRUE permite que execuções do DAG se sobreponham.

Além disso, uma tarefa filha começa sua execução somente depois que todas as tarefas predecessoras da tarefa filha tenham completado com sucesso suas próprias execuções. Uma tarefa que executa operações SQL demoradas atrasa o início de qualquer tarefa filha que identifique a tarefa como predecessora.

No exemplo a seguir, uma execução do DAG está programada para começar quando uma execução anterior ainda não foi concluída. O período de sobreposição, ou simultaneidade, é identificado em vermelho. O diagrama também identifica o intervalo de tempo em que cada tarefa é enfileirada antes de ser executada no warehouse administrado pelo usuário. Observe que se forem utilizados recursos de computação gerenciados pelo Snowflake, não há período de enfileiramento:

Execuções sobrepostas podem ser toleradas (ou mesmo desejáveis) quando operações SQL de leitura/gravação com execuções sobrepostas de um DAG não produzem dados incorretos ou duplicados. Entretanto, para outros DAGs, os proprietários das tarefas (ou seja, a função com o privilégio OWNERSHIP em todas as tarefas no DAG) devem definir um cronograma apropriado na tarefa raiz e escolher um tamanho de warehouse apropriado (ou usar recursos de computação gerenciados pelo Snowflake) para garantir que uma instância do DAG termine a conclusão antes que a tarefa raiz seja agendada.

Para alinhar melhor um DAG com o cronograma definido na tarefa raiz:

1. Se possível, aumente o tempo de agendamento entre as execuções da tarefa raiz.

2. Considere modificar tarefas de computação pesada para usar recursos de computação gerenciados pelo Snowflake. Se a tarefa depender de recursos de computação gerenciados pelo usuário, aumente o tamanho do warehouse que executa instruções SQL grandes ou complexas ou procedimentos armazenados no DAG.

3. Analise as instruções SQL ou procedimentos armazenados executados por cada tarefa. Determine se o código pode ser reescrito para aproveitar o processamento paralelo.

Se nenhuma das soluções acima ajudar, considere se é necessário permitir execuções simultâneas do DAG definindo ALLOW_OVERLAPPING_EXECUTION = TRUE na tarefa raiz. Este parâmetro pode ser definido ao criar uma tarefa (usando CREATE TASK) ou mais tarde (usando ALTER TASK).

Controle de versão de execuções¶

Quando uma tarefa autônoma ou a tarefa raiz em um DAG é retomada (ou executada manualmente usando EXECUTE TASK), uma versão inicial da tarefa é definida. Se a tarefa for uma tarefa raiz, então uma versão de todo o DAG, incluindo todas as propriedades para todas as tarefas no DAG, é definida. A tarefa autônoma ou DAG é executada utilizando esta versão. Após uma tarefa ser suspensa e modificada, uma nova versão é definida quando a tarefa autônoma ou raiz é retomada ou executada manualmente.

Para modificar ou recriar qualquer tarefa em um DAG, a tarefa raiz deve primeiro ser suspensa (usando ALTER TASK … SUSPEND). Quando a tarefa raiz é suspensa, todas as futuras execuções programadas da tarefa raiz são canceladas; entretanto, se alguma tarefa estiver sendo executada (ou seja, as tarefas estão em um estado EXECUTING), estas tarefas e quaisquer tarefas descendentes continuam a ser executadas usando a versão atual.

Por exemplo, suponha que a tarefa raiz em um DAG esteja suspensa, mas uma execução programada desta tarefa já tenha começado. O proprietário de todas as tarefas no DAG modifica o código SQL chamado por uma tarefa filha enquanto a tarefa raiz ainda está em execução. A tarefa filha executa o código SQL em sua definição usando a versão do DAG que era atual quando a tarefa raiz iniciou sua execução. Quando a tarefa raiz é retomada ou é executada manualmente, uma nova versão do DAG é definida. Esta nova versão inclui as modificações da tarefa filha.

Para recuperar o histórico das versões de tarefas, consulte TASK_VERSIONS Exibição do Account Usage (no banco de dados SNOWFLAKE compartilhado).

Definição de parâmetros de sessão para tarefas¶

Você pode definir parâmetros para a sessão em que uma tarefa é executada. Para isso, modifique uma tarefa existente e defina os valores dos parâmetros desejados (usando ALTER TASK … SET session_parameter = value[, session_parameter = value ... ]).

Uma tarefa oferece suporte a todos os parâmetros da sessão. Para a lista completa, consulte Parâmetros.

Note que uma tarefa não suporta parâmetros de conta ou de usuário.

Suspensão automática das tarefas após uma execução falhada¶

Opcionalmente, suspende as tarefas automaticamente após um número especificado de execuções consecutivas que falham ou ficam sem tempo. Este recurso pode reduzir custos suspendendo tarefas que consomem créditos do Snowflake, mas que não são executadas até a conclusão. Execuções de tarefas falhadas incluem execuções nas quais o código SQL no corpo da tarefa produz um erro do usuário ou atinge o tempo limite. Execuções de tarefas que são puladas, canceladas ou que falham devido a um erro do sistema são consideradas indeterminadas e não são incluídas na contagem de execuções de tarefas falhadas.

Defina o parâmetro SUSPEND_TASK_AFTER_NUM_FAILURES = num em uma tarefa autônoma ou na tarefa raiz em um DAG. Quando o parâmetro é definido como um valor maior que 0, o seguinte comportamento se aplica a execuções da tarefa autônoma ou do DAG:

• Tarefas autônomas são automaticamente suspensas após o número especificado de execuções consecutivas de tarefas falhar ou atingir o tempo limite.

• A tarefa raiz é automaticamente suspensa após a execução de qualquer tarefa única em um DAG falhar ou atingir o tempo limite pelo número especificado de vezes, em execuções consecutivas.

O parâmetro pode ser definido ao criar uma tarefa (usando CREATE TASK) ou mais tarde (usando ALTER TASK). A configuração se aplica a tarefas que dependem de recursos computacionais gerenciados pelo Snowflake (ou seja, modelo computacional sem servidor) ou recursos computacionais gerenciados pelo usuário (ou seja, um warehouse virtual).

O parâmetro SUSPEND_TASK_AFTER_NUM_FAILURES também pode ser definido no nível de conta, banco de dados ou esquema. A configuração se aplica a todas as tarefas autônomas ou raiz contidas no objeto modificado. Observe que a definição explícita do parâmetro em um nível mais baixo (ou seja, mais granular) sobrepõe-se ao valor do parâmetro definido em um nível mais alto.

Execução manual de tarefas¶

O comando EXECUTE TASK aciona manualmente uma única execução de uma tarefa agendada (seja uma tarefa autônoma ou a tarefa raiz em um DAG) independentemente do agendamento definido para a tarefa. Uma execução bem-sucedida de uma tarefa raiz aciona uma execução em cascata de tarefas filhas no DAG quando a tarefa anterior é concluída, como se a tarefa raiz tivesse sido executada em seu cronograma definido.

Este comando SQL é útil para testar tarefas autônomas novas ou modificadas e DAGs antes de habilitá-los a executar o código SQL na produção.

Chame este comando SQL diretamente em scripts ou em procedimentos armazenados. Além disso, este comando suporta a integração de tarefas em pipelines de dados externos. Qualquer serviço de terceiros que possa autenticar em sua conta Snowflake e autorizar ações SQL pode executar o comando EXECUTE TASK para executar tarefas.

Visualização do histórico de tarefas para sua conta¶

Você pode visualizar o histórico de tarefas de sua conta usando SQL ou Snowsight. Para ver o histórico de tarefas em Snowsight, consulte Visualização do histórico de tarefas na Snowsight.

As seguintes funções (ou funções com os privilégios especificados) podem usar SQL para visualizar o histórico de tarefas dentro de um intervalo de datas especificado:

• Administrador de conta (ou seja, usuários com a função ACCOUNTADMIN).

• Proprietário da tarefa (ou seja, função que tem o privilégio OWNERSHIP sobre uma tarefa).

• Qualquer função que tenha o privilégio global MONITOR EXECUTION.

Para ver o histórico de execução de uma única tarefa:

SQL

Consulte a função de tabela TASK_HISTORY (no Snowflake Information Schema).

Para ver os detalhes de uma execução do DAG que está agendada ou em execução:

SQL

Consulte a função de tabela CURRENT_TASK_GRAPHS (no Snowflake Information Schema).

Para ver o histórico de execuções do DAG que foram executadas com sucesso, falharam ou foram canceladas nos últimos 60 minutos:

SQL

Consulte a função de tabela COMPLETE_TASK_GRAPHS (no Snowflake Information Schema).

Consulte a exibição Exibição COMPLETE_TASK_GRAPHS (no Account Usage).

Custos da tarefa¶

Os custos associados à execução de uma tarefa para executar código SQL diferem dependendo da fonte dos recursos de computação para a tarefa:

Warehouse gerenciado pelo usuário

O Snowflake fatura sua conta por uso de crédito baseado no uso do warehouse enquanto uma tarefa está em execução, semelhante ao uso do warehouse para executar as mesmas instruções SQL em um cliente ou na interface da Web do Snowflake. O faturamento de crédito por segundo e a suspensão automática do warehouse lhe dão a flexibilidade de começar com tamanhos de warehouse maiores e depois ajustar o tamanho para corresponder às cargas de trabalho de suas tarefas.

Recursos gerenciados pelo Snowflake (ou seja, modelo de computação sem servidor)

O Snowflake fatura sua conta com base no uso real dos recursos de computação; em contraste com os warehouses virtuais gerenciados pelo cliente, que consomem créditos quando ativos, e podem ficar ociosos ou ser utilizados em excesso. As taxas são calculadas com base no uso total dos recursos (incluindo o uso do serviço de nuvem) medido em uso de créditos de horas de computação.

O Snowflake analisa dinamicamente as tarefas executadas no histórico de tarefas para determinar o tamanho ideal dos recursos de computação, e suspende esses recursos de computação para economizar custos. O Snowflake gerencia a capacidade de carga, garantindo recursos de computação ideais para atender à demanda. Para recuperar os custos de gerenciamento dos recursos de computação fornecidos pelo Snowflake, aplicamos um multiplicador de 1,5x ao consumo de recursos. Observe, entretanto, que o modelo de computação sem servidor ainda pode reduzir os custos de computação de warehouses administrados pelo usuário; em alguns casos, significativamente.

Para saber quantos créditos são consumidos pelas tarefas, consulte a “Tabela de crédito de recursos sem servidor” na Tabela de consumo de serviço do Snowflake.

O faturamento é semelhante aos outros recursos do Snowflake, como o Clustering automático de tabelas, a Replicação e failover/failback e o Snowpipe.

Para recuperar o uso de créditos atual para uma tarefa específica, consulte a função de tabela SERVERLESS_TASK_HISTORY. Execute a seguinte instrução como o proprietário da tarefa (ou seja, a função que tem o privilégio OWNERSHIP sobre a tarefa):

SET num_credits = (SELECT SUM(credits_used)
  FROM TABLE(<database_name>.information_schema.serverless_task_history(
    date_range_start=>dateadd(D, -1, current_timestamp()),
    date_range_end=>dateadd(D, 1, current_timestamp()),
    task_name => '<task_name>')
    )
  );

Copy

Onde:

<nome_do_banco_de_dados>

Nome do banco de dados que contém a tarefa.

<nome_da_tarefa>

Nome da tarefa.

Para recuperar o uso de créditos atual para todas as tarefas sem servidor, consulte a exibição SERVERLESS_TASK_HISTORY. Execute a seguinte instrução como administrador de conta (ou seja, um usuário com a função ACCOUNTADMIN):

SELECT start_time,
  end_time,
  task_id,
  task_name,
  credits_used,
  schema_id,
  schema_name,
  database_id,
  database_name
FROM snowflake.account_usage.serverless_task_history
ORDER BY start_time, task_id;

Explicação do serviço do sistema¶

O Snowflake executa tarefas com os privilégios do proprietário da tarefa (ou seja, a função que tem o privilégio OWNERSHIP para a tarefa), mas as execuções de tarefa não estão associadas a um usuário. Ao invés disso, cada execução é realizada por um serviço de sistema. As tarefas são desacopladas de usuários específicos para evitar complicações que podem surgir quando os usuários são descartados, bloqueados devido a problemas de autenticação ou têm suas funções removidas.

As tarefas são executadas com os privilégios do proprietário da tarefa, seja ela programada ou executada manualmente por EXECUTE TASK por outra função com privilégio OPERATE.

Como as execuções de tarefas são desacopladas de um usuário, o histórico de consultas das execuções de tarefas está associado ao serviço do sistema. SYSTEM não é um usuário na conta; é um serviço em segundo plano. Como tal, não há credenciais de usuário para este serviço, e nenhum indivíduo (do Snowflake ou em sua conta) pode assumir sua identidade. A atividade para o serviço do sistema é limitada à sua conta. As mesmas proteções de criptografia e outros protocolos de segurança são incorporados a este serviço, assim como são aplicados para outras operações.

DDL de tarefas¶

Para apoiar a criação e o gerenciamento de tarefas, o Snowflake fornece o seguinte conjunto de comandos DDL especiais:

• CREATE TASK

• ALTER TASK

• DROP TASK

• DESCRIBE TASK

• SHOW TASKS

Além disso, os provedores podem visualizar, conceder ou revogar o acesso aos objetos de banco de dados necessários para ELT usando o seguinte DDL de controle de acesso padrão:

• GRANT <privilégios>

• REVOKE <privilégios>

• SHOW GRANTS

Funções de tarefa¶

Para apoiar a recuperação de informações sobre tarefas, o Snowflake fornece o seguinte conjunto de funções SQL:

• SYSTEM$CURRENT_USER_TASK_NAME

• TASK_HISTORY

• TASK_DEPENDENTS

Segurança de tarefas¶

USE ROLE securityadmin;

CREATE ROLE taskadmin;

-- set the active role to ACCOUNTADMIN before granting the account-level privileges to the new role
USE ROLE accountadmin;

GRANT EXECUTE TASK, EXECUTE MANAGED TASK ON ACCOUNT TO ROLE taskadmin;

-- set the active role to SECURITYADMIN to show that this role can grant a role to another role
USE ROLE securityadmin;

GRANT ROLE taskadmin TO ROLE myrole;

Fluxo de trabalho¶

Esta seção fornece uma visão geral de alto nível do fluxo de trabalho de configuração de tarefas.

1. Complete os passos em Criação de uma função de administrador de tarefas (neste tópico) para criar uma função que possa ser usada para executar os comandos nos passos seguintes.

2. Crie uma tarefa usando CREATE TASK. A tarefa está suspensa por padrão.

   Nota

   Verifique se a instrução SQL que você usará em uma tarefa é executada como esperado antes de criar a tarefa. As tarefas destinam-se a automatizar instruções SQL ou procedimentos armazenados que já tenham sido testados exaustivamente.

3. Execute ALTER TASK … RESUME para permitir que a tarefa seja executada com base nos parâmetros especificados na definição da tarefa.