Introdução às tarefas¶

Limitações¶

• O tamanho máximo de computação para uma tarefa sem servidor é equivalente a um warehouse virtual X2LARGE.

Criação de uma tarefa usando o modelo de computação sem servidor¶

Ao usar CREATE TASK ou ALTER TASK, deixe de fora o parâmetro WAREHOUSE.

A função que executa a tarefa deve ter o privilégio global EXECUTE MANAGED TASK. Para obter mais informações sobre os requisitos de controle de acesso para tarefas, consulte Segurança de tarefas.

É possível ter algum controle sobre o custo e o desempenho das tarefas sem servidor definindo os seguintes parâmetros:

• SERVERLESS_TASK_MAX_STATEMENT_SIZE: o tamanho máximo do warehouse para evitar custos inesperados.

• SERVERLESS_TASK_MIN_STATEMENT_SIZE: tamanho mínimo do warehouse para um desempenho previsível.

• TARGET_COMPLETION_INTERVAL: o tempo desejado para a conclusão da tarefa.

Quando essas configurações são especificadas, a precedência é a seguinte:

• SERVERLESS_TASK_MAX_STATEMENT_SIZE

• SERVERLESS_TASK_MIN_STATEMENT_SIZE

• TARGET_COMPLETION_INTERVAL

Como o Snowflake estima os recursos de computação sem servidor¶

O Snowflake estima automaticamente os recursos de computação necessários para concluir uma tarefa com base no período desejado e desempenho de execuções de tarefas anteriores.

O período desejado pode ser definido por meio de TARGET_COMPLETION_INTERVAL. Se esse valor não for definido, o Snowflake redimensionará os recursos de computação sem servidor para concluir antes do próximo horário de execução programado.

Após a conclusão de uma tarefa, o Snowflake estima os recursos de computação necessários da seguinte forma:

• Se as tarefas estiverem sendo concluídas muito rapidamente (dentro de um período que seja um fator menor do que o período desejado), o Snowflake reduzirá os recursos nas execuções subsequentes em um tamanho do warehouse.

• Se as tarefas estiverem sendo concluídas muito lentamente (dentro de um período que seja um fator a mais do que o período desejado), o Snowflake aumentará os recursos nas execuções subsequentes em um tamanho do warehouse.

Exemplos¶

Exemplo 1: crie uma tarefa sem servidor para ser executada a cada hora com um intervalo de conclusão desejado de 120 minutos:

CREATE TASK SCHEDULED_T1 SCHEDULE='USING CRON 0 * * * * America/Los_Angeles'
TARGET_COMPLETION_INTERVAL='120 MINUTE' AS SELECT 1;

Ao definir TARGET_COMPLETION_INTERVAL com uma duração relativamente longa, isso indica que é aceitável que a execução da tarefa seja mais longa. O Snowflake dimensiona automaticamente a computação sem servidor para que a execução da tarefa seja concluída dentro do TARGET_COMPLETION_INTERVAL especificado.

Exemplo 2: crie uma tarefa sem servidor para ser executada a cada hora com um tempo de conclusão desejado de 10 minutos:

CREATE TASK SCHEDULED_T2 SCHEDULE='USING CRON 0 * * * * UTC'
TARGET_COMPLETION_INTERVAL='10 MINUTE'
SERVERLESS_TASK_MAX_STATEMENT_SIZE='LARGE'
AS SELECT 1;

Ao definir TARGET_COMPLETION_INTERVAL com uma duração relativamente curta, isso indica uma preferência pela conclusão rápida da tarefa. O Snowflake dimensiona automaticamente a computação sem servidor para que a execução da tarefa seja concluída dentro do TARGET_COMPLETION_INTERVAL especificado até que o SERVERLESS_TASK_MAX_STATEMENT_SIZE seja alcançado.

Exemplo 3: crie uma tarefa sem servidor agendada uma vez por dia em algum momento dentro de um intervalo de conclusão desejado e de um intervalo de tamanhos mínimo e máximo de warehouse:

CREATE TASK SCHEDULED_T3 SCHEDULE='USING CRON 0 0 * * * UTC'
TARGET_COMPLETION_INTERVAL='180 M'
SCHEDULING_MODE = 'FLEXIBLE'
SERVERLESS_TASK_MIN_STATEMENT_SIZE='MEDIUM' SERVERLESS_TASK_MAX_STATEMENT_SIZE='LARGE' AS SELECT 1;

Com essa configuração, a tarefa sem servidor é executada uma vez por dia, à meia-noite, em pelo menos um warehouse médio com um TARGET_COMPLETION_INTERVAL de 3 horas. O Snowflake dimensiona automaticamente a computação sem servidor para que a execução da tarefa seja concluída dentro do TARGET_COMPLETION_INTERVAL especificado até que o SERVERLESS_TASK_MAX_STATEMENT_SIZE seja alcançado. Ao definir SCHEDULING_MODE como flexível, a tarefa pode começar a qualquer momento do dia.

Exemplo 4: crie uma tarefa sem servidor agendada uma vez por dia sem um intervalo de conclusão desejado:

CREATE TASK SCHEDULED_T4 SCHEDULE='USING CRON 0 0 * * * UTC'
SERVERLESS_TASK_MAX_STATEMENT_SIZE='LARGE' AS SELECT 1;

Com essa configuração, a tarefa sem servidor é executada uma vez por dia, à meia-noite. Se uma série de durações de execução de tarefas não for concluída antes do próximo horário programado, o Snowflake dimensiona automaticamente a computação sem servidor para que a execução da tarefa seja concluída dentro do SCHEDULE especificado até que SERVERLESS_TASK_MAX_STATEMENT_SIZE seja alcançado.

Para obter mais informações sobre os parâmetros e a sintaxe, consulte CREATE TASK e ALTER TASK.

Escolha do tamanho de um warehouse¶

Se você optar por utilizar os warehouses existentes para fornecer os recursos de computação para tarefas individuais, siga as práticas recomendadas descritas em Considerações sobre warehouses. Para entender as necessidades de computação para sua tarefa, analise o tempo médio de execução para uma única tarefa ou gráfico de tarefa usando diferentes warehouses com base no tamanho do warehouse e no clustering. Você também deve considerar se o warehouse é compartilhado por vários processos.

Para analisar o tempo médio de execução de suas tarefas, consulte a exibição Account Usage TASK_HISTORY. A diferença média entre os tempos agendados e completados para uma tarefa é o tempo médio de execução esperado para a tarefa. Essa diferença inclui o tempo em que a tarefa ficou na fila enquanto outros processos estavam usando os recursos de computação no warehouse.

Para gráficos de tarefa, há um breve atraso após a conclusão da execução de uma tarefa anterior e o início de qualquer tarefa filho. Escolha um tamanho de warehouse grande o suficiente para acomodar várias tarefas filho secundárias executadas simultaneamente.

O diagrama a seguir mostra um período de 1 minuto no qual uma única tarefa ficou em fila por 20 segundos e depois foi executada por 40 segundos. Isso significa que outros processos estavam usando os recursos do warehouse nos primeiros 20 segundos após a tarefa ter sido agendada.

O diagrama a seguir mostra um gráfico da tarefa que requer 5 minutos, em média, para ser completado em cada execução. O diagrama mostra a janela para a conclusão de 2 execuções do gráfico da tarefa. Esse período é calculado a partir do momento em que a tarefa raiz está agendada para começar até que a última tarefa filho tenha terminado de ser executada.

Neste exemplo, o warehouse no qual o gráfico de tarefa está sendo executado é compartilhado com outras operações simultâneas. Estas operações simultâneas consomem todos os recursos disponíveis quando cada tarefa no gráfico da tarefa termina e antes que a próxima tarefa comece a ser executada. Como resultado, a janela para cada tarefa inclui algum tempo de fila de espera enquanto aguarda que outras operações terminem e liberem os recursos de computação.

Agendamento de tarefas e horário de verão¶

A expressão cron em uma definição de tarefa suporta a especificação de um fuso horário. As tarefas agendadas durante a transição do horário padrão para o horário de verão, ou o inverso, podem ter comportamentos inesperados.

Por exemplo:

• Durante a mudança do horário de verão para o horário padrão, uma tarefa agendada para começar à 1 AM no fuso horário de America/Los_Angeles (0 1 * * * America/Los_Angeles) seria executada duas vezes. Em 1 AM e então novamente à 1:59:59 AM muda para 1:00:00 AM hora local.

• Durante a mudança do horário padrão para o horário de verão, uma tarefa agendada para começar às 2 AM no fuso horário de America/Los_Angeles (0 2 * * * America/Los_Angeles) não seria executada porque a hora local muda de 1:59:59 AM para 3:00:00 AM.

Para evitar execuções de tarefa inesperadas devido ao horário de verão, considere o seguinte:

• Não agende tarefas para serem executadas entre 1 AM e 3 AM.

• Ajuste manualmente a expressão cron para tarefas agendadas entre 1 AM e 3 AM duas vezes por ano para compensar a mudança de horário.

• Utilize um formato de horário que não aplique o horário de verão, tal como UTC.

Criação de uma tarefa acionada¶

Use CREATE TASK e defina o fluxo de destino usando a cláusula WHEN. (Não inclua o parâmetro SCHEDULE.)

Atribua recursos de computação para a tarefa escolhendo uma das seguintes opções:

• Para gerenciar manualmente os recursos (tarefa de warehouse gerenciada pelo usuário), adicione o parâmetro WAREHOUSE.

• Para permitir que o Snowflake gerencie recursos (tarefa sem servidor), adicione o parâmetro TARGET_COMPLETION_INTERVAL. O Snowflake estima os recursos necessários e se ajusta para concluir a tarefa nesse tempo.

Migração de uma tarefa existente de uma tarefa agendada para uma tarefa acionada¶

Suspenda a tarefa, cancele a definição do parâmetro SCHEDULE e retome a tarefa. A tarefa existente deve ter um fluxo de destino definido na cláusula WHEN.

ALTER TASK task SUSPEND;
ALTER TASK task UNSET SCHEDULE;
ALTER TASK task RESUME;

Migração de uma tarefa acionada gerenciada pelo usuário existente para uma tarefa acionada sem servidor¶

Suspenda a tarefa. Remova o parâmetro WAREHOUSE e adicione o parâmetro TARGET_COMPLETION_INTERVAL. Retome a tarefa.

Considerações sobre tarefas acionadas¶

• Na saída SHOW TASKS e DESC TASK, as exibições de propriedade SCHEDULE NULL para tarefas acionadas.

• Na saída da exibição task_history dos esquemas information_schema e account_usage, a coluna SCHEDULED_FROM exibe TRIGGER.

• Ao trabalhar com vários fluxos de dados, é possível gerenciar quando as tarefas são iniciadas usando os parâmetros condicionais: WHEN … AND e WHEN … OR.

Limitações das tarefas acionadas¶

• Por padrão, as tarefas acionadas são executadas no máximo a cada 30 segundos. É possível modificar o parâmetro USER_TASK_MINIMUM_TRIGGER_INTERVAL_IN_SECONDS para executá-las com mais frequência, até a cada 10 segundos.

• Não há suporte para fluxos em tabelas de diretório, tabelas externas e tabelas híbridas.

Exemplos de tarefas acionadas¶

Exemplo 1: crie uma tarefa gerenciada pelo usuário que seja executada sempre que os dados forem alterados em um dos dois fluxos:

CREATE TASK my_task
  WHEN SYSTEM$STREAM_HAS_DATA('my_return_stream')
  OR   SYSTEM$STREAM_HAS_DATA('my_order_stream')
  WAREHOUSE = my_warehouse
  AS
    INSERT INTO customer_activity
    SELECT customer_id, return_total, return_date, ‘return’
    FROM my_return_stream
    UNION ALL
    SELECT customer_id, order_total, order_date, ‘order’
    FROM my_order_stream;

Exemplo 2: crie uma tarefa para ser executada sempre que forem detectadas alterações de dados em dois fluxos de dados diferentes. Como a tarefa usa o condicional AND, ela será ignorada se apenas um dos dois fluxos tiver novos dados.

Como TARGET_COMPLETION_INTERVAL é de 120 minutos, o Snowflake estima e ajusta os recursos de computação necessários para concluir a tarefa nesse tempo.

CREATE TASK triggeredTask
  WHEN SYSTEM$STREAM_HAS_DATA('orders_stream')
  TARGET_COMPLETION_INTERVAL='120 MINUTES'
  AS
    INSERT INTO completed_promotions
    SELECT order_id, order_total, order_time, promotion_id
    FROM orders_stream
    WHERE promotion_id IS NOT NULL;

Criação de tarefas¶

A criação de tarefas requer uma função com um mínimo dos seguintes privilégios:

Tarefas em execução¶

Após a criação de uma tarefa, o proprietário da tarefa deverá ter os seguintes privilégios para que a tarefa seja executada:

Além disso, a função deve ter as permissões necessárias para executar a instrução SQL executada pela tarefa.

Visualização do histórico de tarefas¶

Para visualizar tarefas, é necessário ter um ou mais dos seguintes privilégios:

• A função ACCOUNTADMIN

• O privilégio OWNERSHIP na tarefa

• O privilégio global MONITOR EXECUTION

Retomada ou suspensão de tarefas¶

Além do proprietário da tarefa, uma função que tenha o privilégio OPERATE para a tarefa pode suspender ou retomar a tarefa. Esta função deve ter o privilégio USAGE para o banco de dados e o esquema que contêm a tarefa. Nenhum outro privilégio é necessário.

Quando uma tarefa é retomada, o Snowflake verifica se a função do proprietário da tarefa tem os privilégios listados em Tarefas em execução.

Criação de uma função personalizada para criar tarefas¶

O Snowflake requer permissões diferentes para criar tarefas sem servidor e gerenciadas pelo usuário.

Por exemplo, para criar tarefas gerenciadas pelo usuário, crie a função personalizada nomeada warehouse_task_creation e conceda a essa função os privilégios CREATE TASK e USAGE no warehouse em que a função pode criar tarefas.

USE SYSADMIN;

CREATE ROLE warehouse_task_creation
  COMMENT = 'This role can create user-managed tasks.';

from snowflake.core.role import Role

root.session.use_role("SYSADMIN")

my_role = Role(
    name="warehouse_task_creation",
    comment="This role can create user-managed tasks."
)
root.roles.create(my_role)

USE ACCOUNTADMIN;

GRANT CREATE TASK
  ON SCHEMA schema1
  TO ROLE warehouse_task_creation;

from snowflake.core.role import Securable

root.session.use_role("ACCOUNTADMIN")

root.roles['warehouse_task_creation'].grant_privileges(
    privileges=["CREATE TASK"], securable_type="schema", securable=Securable(name='schema1')
)

GRANT USAGE
  ON WAREHOUSE warehouse1
  TO ROLE warehouse_task_creation;

from snowflake.core.role import Securable

root.roles['warehouse_task_creation'].grant_privileges(
    privileges=["USAGE"], securable_type="warehouse", securable=Securable(name='warehouse1')
)

Como exemplo de uma função que pode criar tarefas sem servidor; crie uma função personalizada nomeada serverless_task_creation e conceda à função o privilégio CREATE TASK e ao nível da conta o privilégio EXECUTE MANAGED TASK.

USE SYSADMIN;

CREATE ROLE serverless_task_creation
  COMMENT = 'This role can create serverless tasks.';

from snowflake.core.role import Role

root.session.use_role("SYSADMIN")

my_role = Role(
    name="serverless_task_creation",
    comment="This role can create serverless tasks."
)
root.roles.create(my_role)

USE ACCOUNTADMIN;

GRANT CREATE TASK
  ON SCHEMA schema1
  TO ROLE serverless_task_creation;

from snowflake.core.role import Securable

root.session.use_role("ACCOUNTADMIN")

root.roles['serverless_task_creation'].grant_privileges(
    privileges=["CREATE TASK"], securable_type="schema", securable=Securable(name='schema1')
)

GRANT EXECUTE MANAGED TASK ON ACCOUNT
  TO ROLE serverless_task_creation;

root.roles['serverless_task_creation'].grant_privileges(
    privileges=["EXECUTE MANAGED TASK"], securable_type="account"
)

Criação de uma função personalizada para administrar tarefas¶

Crie uma função personalizada e com o privilégio EXECUTE TASK, e conceda essa função personalizada a qualquer função de proprietário de tarefa para permitir a alteração de suas próprias tarefas. Para remover a capacidade de o proprietário executar a tarefa, revogue esta função personalizada da função de proprietário de tarefa.

Por exemplo, crie um nome de função personalizado taskadmin e conceda a essa função o privilégio EXECUTE TASK. Atribua a função taskadmin a uma função de proprietário de tarefa chamada myrole:

USE ROLE securityadmin;

CREATE ROLE taskadmin;

from snowflake.core.role import Role

root.session.use_role("securityadmin")

root.roles.create(Role(name="taskadmin"))

Definia a função ativa para ACCOUNTADMIN antes de conceder privilégios ao nível de conta para a nova função.

USE ROLE accountadmin;

GRANT EXECUTE TASK, EXECUTE MANAGED TASK ON ACCOUNT TO ROLE taskadmin;

root.session.use_role("accountadmin")

root.roles['taskadmin'].grant_privileges(
    privileges=["EXECUTE TASK", "EXECUTE MANAGED TASK"], securable_type="account"
)

Defina a função ativa para SECURITYADMIN para mostrar que esta função pode conceder uma função a outra função.

USE ROLE securityadmin;

GRANT ROLE taskadmin TO ROLE myrole;

from snowflake.core.role import Securable

root.session.use_role("securityadmin")

root.roles['myrole'].grant_role(role_type="ROLE", role=Securable(name='taskadmin'))

Para obter mais informações sobre a criação de funções personalizadas e hierarquias de funções, consulte Configuração do controle de acesso.