Introdução às tarefas¶

Tarefas sem servidor¶

Com esse modelo, as tarefas são executadas na computação gerenciada pelo Snowflake. O Snowflake redimensiona automaticamente os recursos conforme necessário para cada carga de trabalho. O Snowflake determina o tamanho ideal dos recursos de computação para uma determinada execução com base em uma análise dinâmica das estatísticas de execuções mais recentes da mesma tarefa.

Esse modelo é recomendado para tarefas que são executadas regularmente ou semirregularmente, como as seguintes:

• Tarefas que sempre começam ao mesmo tempo.

• Tarefas que só são executadas quando chegam novos dados. (Para obter mais informações, consulte Tarefas acionadas.)

Como o Snowflake estima os recursos de computação sem servidor¶

O Snowflake estima automaticamente os recursos de computação necessários para concluir uma tarefa com base no período desejado e desempenho de execuções de tarefas anteriores.

Você pode definir o período de tempo de destino usando TARGET_COMPLETION_INTERVAL. Se esse valor não for definido, o Snowflake redimensionará os recursos de computação sem servidor para concluir antes do próximo horário de execução programado.

Após a conclusão de uma tarefa, o Snowflake estima os recursos de computação necessários da seguinte forma:

• Se as tarefas estiverem sendo concluídas muito rapidamente (dentro de um período de tempo que seja um fator menor do que o período de tempo desejado), o Snowflake reduzirá os recursos nas execuções subsequentes em um tamanho de warehouse até o SERVERLESS_TASK_MIN_STATEMENT_SIZE.

• Se as tarefas estiverem sendo concluídas muito lentamente (dentro de um período que seja um fator a mais do que o período desejado), o Snowflake aumentará os recursos nas execuções subsequentes em um tamanho do warehouse. Quando SERVERLESS_TASK_MAX_STATEMENT_SIZE é atingido, as tarefas continuam (possivelmente excedendo o tempo de destino) até serem concluídas ou atingirem um tempo limite.

CREATE TASK SCHEDULED_T1
  SCHEDULE='60 MINUTES'
  AS SELECT 1;

from datetime import timedelta
from snowflake.core.task import Cron, Task

tasks = root.databases["TEST_DB"].schemas["TEST_SCHEMA"].tasks

task = tasks.create(
    Task(
        name="SCHEDULED_T1",
        definition="SELECT 1",
        schedule=timedelta(minutes=60),),
    ),
)

CREATE TASK SCHEDULED_T2
  SCHEDULE='USING CRON 0 * * * * America/Los_Angeles'
  TARGET_COMPLETION_INTERVAL='120 MINUTE'
  SERVERLESS_TASK_MAX_STATEMENT_SIZE='LARGE'
  AS SELECT 1;

from datetime import timedelta
from snowflake.core.task import Cron, Task

tasks = root.databases["TEST_DB"].schemas["TEST_SCHEMA"].tasks

task = tasks.create(
    Task(
        name="SCHEDULED_T2",
        definition="SELECT 1",
        schedule=Cron("0 * * * *", "America/Los_Angeles"),
        target_completion_interval=timedelta(minutes=120),
        serverless_task_max_statement_size="LARGE",
    ),
)

CREATE TASK SCHEDULED_T3
  SCHEDULE='USING CRON 0 0 * * * UTC'
  TARGET_COMPLETION_INTERVAL='180 M'
  SERVERLESS_TASK_MIN_STATEMENT_SIZE='MEDIUM'
  SERVERLESS_TASK_MAX_STATEMENT_SIZE='LARGE'
  AS SELECT 1;

from datetime import timedelta
from snowflake.core.task import Cron, Task

tasks = root.databases["TEST_DB"].schemas["TEST_SCHEMA"].tasks

task = tasks.create(
    Task(
        name="SCHEDULED_T3",
        definition="SELECT 1",
        schedule=Cron("0 0 * * *", "UTC"),
        target_completion_interval=timedelta(minutes=180),
        serverless_task_min_statement_size="MEDIUM",
        serverless_task_max_statement_size="LARGE",
    ),
)

CREATE TASK SCHEDULED_T4
  SCHEDULE='10 SECONDS'
  SERVERLESS_TASK_MAX_STATEMENT_SIZE='LARGE'
  AS SELECT 1;

from datetime import timedelta
from snowflake.core.task import Cron, Task

tasks = root.databases["TEST_DB"].schemas["TEST_SCHEMA"].tasks

task = tasks.create(
    Task(
        name="SCHEDULED_T4",
        definition="SELECT 1",
        schedule=timedelta(seconds=10),
        serverless_task_max_statement_size="LARGE",
    ),
)

Modelo de warehouse virtual gerenciado pelo usuário¶

Com esse modelo, você tem controle total dos recursos de computação usados para cada carga de trabalho.

Esse modelo é recomendado quando você deseja gerenciar manualmente cargas imprevisíveis nos recursos de computação. Warehouses com vários clusters com suspensão e retomada automáticas ativadas também podem ajudar a moderar o consumo de crédito.

Recomendações para a escolha de um modelo de cálculo¶

A tabela a seguir descreve vários fatores que podem ajudar você a decidir quando usar tarefas sem servidor versus tarefas gerenciadas pelo usuário:

O tamanho máximo para uma execução de tarefa sem servidor é equivalente a um warehouse XXLARGE. Se a carga de trabalho de uma tarefa exigir um warehouse maior, crie uma tarefa gerenciada pelo usuário com um warehouse do tamanho exigido.

Executar uma tarefa em um cronograma fixo¶

Para executar tarefas em um cronograma fixo, defina o cronograma ao criar ou alterar a tarefa usando CREATE TASK ou ALTER TASK, ou ao editar a tarefa na Snowsight, usando o parâmetro SCHEDULE.

O Snowflake garante que apenas uma instância de uma tarefa com um cronograma seja executada por vez. Se uma tarefa ainda estiver em execução quando o próximo período de execução agendado ocorrer, esse tempo agendado é ignorado.

O exemplo a seguir cria uma tarefa que é executada a cada 10 segundos:

CREATE TASK task_runs_every_10_seconds
  SCHEDULE='10 SECONDS'
  AS SELECT 1;

Para definir um cronograma com base em um horário ou dia específico, use o parâmetro SCHEDULE =”USING CRON…”.

O exemplo a seguir cria uma tarefa que é executada todos os domingos às 3h da manhã, usando o fuso horário Américas/Los_Angeles.

CREATE TASK task_sunday_3_am_pacific_time_zone
  SCHEDULE='USING CRON 0 3 * * SUN America/Los_Angeles'
AS SELECT 1;

Para obter mais informações, consulte CREATE TASK … SCHEDULE.

Executar uma tarefa sempre que um fluxo tiver novos dados¶

Use Tarefas acionadas para executar tarefas sempre que um fluxo definido tiver novos dados, como nos fluxos de trabalho Extract, Load, Transform - ELT (extrair, carregar, transformar). Isso elimina a necessidade de pesquisar uma fonte com frequência quando a disponibilidade de novos dados é imprevisível. Elas também reduzem a latência porque os dados são processados imediatamente. Exemplo:

CREATE TASK triggered_task_stream
  WHEN SYSTEM$STREAM_HAS_DATA('orders_stream')
  AS
    INSERT INTO completed_promotions
    SELECT order_id, order_total, order_time, promotion_id
    FROM orders_stream;

Para obter mais informações, consulte Tarefas acionadas.

Executar em um cronograma, mas somente se um fluxo tiver novos dados¶

Você pode combinar uma tarefa programada com uma tarefa acionada. Por exemplo, você pode definir uma tarefa para ser executada a cada hora, mas somente se o fluxo tiver novos dados. Exemplo:

CREATE TASK triggered_task_stream
  SCHEDULE = '1 HOUR'
  WHEN SYSTEM$STREAM_HAS_DATA('orders_stream')
  AS SELECT 1;

Suspensão automática das tarefas após uma execução falhada¶

Opcionalmente, suspende as tarefas automaticamente após um número especificado de execuções consecutivas que falham ou ficam sem tempo. Este recurso pode reduzir custos suspendendo tarefas que consomem créditos do Snowflake, mas que não são executadas até a conclusão.

Defina o parâmetro SUSPEND_TASK_AFTER_NUM_FAILURES = num em uma tarefa. Quando o parâmetro é definido como um valor maior que 0, as tarefas são automaticamente suspensas após o número especificado de execuções consecutivas de tarefas falhar ou atingir o tempo limite.

O parâmetro pode ser definido ao criar uma tarefa usando CREATE TASK ou mais tarde usando ALTER TASK. Você também pode alterar esse valor no Snowsight.

O parâmetro SUSPEND_TASK_AFTER_NUM_FAILURES também pode ser definido no nível de conta, banco de dados ou esquema. A configuração se aplica a todas as tarefas contidas no objeto modificado. Observe que a definição explícita do parâmetro em um nível mais baixo sobrepõe-se ao valor do parâmetro definido em um nível mais alto.

Repetição automática das execuções de tarefa que falharam¶

Se alguma tarefa for concluída em um estado FAILED, o Snowflake poderá tentar repetir a execução da tarefa automaticamente. A nova tentativa automática de tarefa está desabilitada por padrão. Para habilitar esse recurso, defina TASK_AUTO_RETRY_ATTEMPTS para um valor maior que 0.

As tarefas que usam notificações de erro enviam notificações para cada tentativa de repetição com falha. Para obter mais informações, consulte Configuração de uma tarefa para enviar notificações de erro.

Quando você define o valor do parâmetro TASK_AUTO_RETRY_ATTEMPTS ao nível da conta, do banco de dados ou do esquema, a alteração é aplicada às tarefas contidas no objeto modificado durante sua próxima execução agendada.

Execução manual de uma tarefa¶

Depois de configurar uma nova tarefa e seus parâmetros usando CREATE TASK ou ALTER TASK, você pode iniciar uma única execução da tarefa usando EXECUTE TASK. Esse comando é útil para testar tarefas novas ou modificadas.

Controle de versão de execuções de tarefas¶

Quando uma tarefa autônoma é retomada primeiro ou executada manualmente, uma versão inicial da tarefa é definida. A tarefa autônoma ou é executada utilizando esta versão. Após uma tarefa ser suspensa e modificada, uma nova versão é definida quando a tarefa autônoma é retomada ou executada manualmente.

Quando a tarefa é suspensa, todas as execuções agendadas futuras da tarefa são canceladas; no entanto, as tarefas em execução no momento continuam sendo executadas usando a versão atual.

Por exemplo, suponha que a tarefa esteja suspensa, mas uma execução agendada desta tarefa já tenha começado. O proprietário da tarefa modifica o código SQL chamado pela tarefa enquanto a tarefa ainda está em execução. A tarefa executa o código SQL em sua definição usando a versão da tarefa que era atual quando a tarefa raiz iniciou sua execução. Quando a tarefa é retomada ou executada manualmente, uma nova versão da tarefa é definida. Esta nova versão inclui as modificações da tarefa filho.

Para recuperar o histórico das versões de tarefas, consulte TASK_VERSIONS Exibição do Account Usage (no banco de dados SNOWFLAKE compartilhado).

Tempo limite¶

Se a execução de uma tarefa exceder o tempo programado ou o intervalo de conclusão de destino, por padrão, a tarefa continuará a ser executada até ser concluída, atingir o tempo limite ou falhar.

Quando ambos STATEMENT_TIMEOUT_IN_SECONDS e label-user_task_timeout_ms são definidos, o tempo limite é o valor mais baixo diferente de zero dos dois parâmetros.

Quando ambos STATEMENT_QUEUED_TIMEOUT_IN_SECONDS e USER_TASK_TIMEOUT_MS são definidos, o valor de USER_TASK_TIMEOUT_MS tem precedência.

Para obter informações sobre tempo limite com gráficos de tarefas, consulte Tempo limite do gráfico de tarefas.

Considerações¶

• Para tarefas sem servidor, o Snowflake dimensiona automaticamente os recursos para garantir que as tarefas sejam concluídas dentro de um intervalo de conclusão desejado, incluindo o tempo de fila.

• Para tarefas gerenciadas pelo usuário, é comum haver períodos mais longos de fila quando as tarefas são programadas para serem executadas em um warehouse compartilhado ou ocupado.

Privilégios de controle de acesso¶

Criação de funções personalizadas para gerenciar permissões de tarefas¶

Com as funções personalizadas, você pode gerenciar facilmente as permissões concedidas para cada conta ou função no Snowflake. Para fazer alterações nas permissões de todas as contas ou funções usando a função personalizada, atualize a função personalizada. Ou revogue as permissões removendo a função personalizada.

USE SYSADMIN;

CREATE ROLE warehouse_task_creation
  COMMENT = 'This role can create user-managed tasks.';

from snowflake.core.role import Role

root.session.use_role("SYSADMIN")

my_role = Role(
    name="warehouse_task_creation",
    comment="This role can create user-managed tasks."
)
root.roles.create(my_role)

USE ACCOUNTADMIN;

GRANT CREATE TASK
  ON SCHEMA schema1
  TO ROLE warehouse_task_creation;

from snowflake.core.role import Securable

root.session.use_role("ACCOUNTADMIN")

root.roles['warehouse_task_creation'].grant_privileges(
    privileges=["CREATE TASK"], securable_type="schema", securable=Securable(name='schema1')
)

GRANT USAGE
  ON WAREHOUSE warehouse1
  TO ROLE warehouse_task_creation;

from snowflake.core.role import Securable

root.roles['warehouse_task_creation'].grant_privileges(
    privileges=["USAGE"], securable_type="warehouse", securable=Securable(name='warehouse1')
)

USE SYSADMIN;

CREATE ROLE serverless_task_creation
  COMMENT = 'This role can create serverless tasks.';

from snowflake.core.role import Role

root.session.use_role("SYSADMIN")

my_role = Role(
    name="serverless_task_creation",
    comment="This role can create serverless tasks."
)
root.roles.create(my_role)

USE ACCOUNTADMIN;

GRANT CREATE TASK
  ON SCHEMA schema1
  TO ROLE serverless_task_creation;

from snowflake.core.role import Securable

root.session.use_role("ACCOUNTADMIN")

root.roles['serverless_task_creation'].grant_privileges(
    privileges=["CREATE TASK"], securable_type="schema", securable=Securable(name='schema1')
)

GRANT EXECUTE MANAGED TASK ON ACCOUNT
  TO ROLE serverless_task_creation;

root.roles['serverless_task_creation'].grant_privileges(
    privileges=["EXECUTE MANAGED TASK"], securable_type="account"
)

USE ROLE securityadmin;

CREATE ROLE taskadmin;

from snowflake.core.role import Role

root.session.use_role("securityadmin")

root.roles.create(Role(name="taskadmin"))

USE ROLE accountadmin;

GRANT EXECUTE TASK, EXECUTE MANAGED TASK ON ACCOUNT TO ROLE taskadmin;

root.session.use_role("accountadmin")

root.roles['taskadmin'].grant_privileges(
    privileges=["EXECUTE TASK", "EXECUTE MANAGED TASK"], securable_type="account"
)

USE ROLE securityadmin;

GRANT ROLE taskadmin TO ROLE myrole;

from snowflake.core.role import Securable

root.session.use_role("securityadmin")

root.roles['myrole'].grant_role(role_type="ROLE", role=Securable(name='taskadmin'))

Descarte de uma função de proprietário de tarefa¶

Quando você exclui a função de proprietário de uma tarefa, a tarefa transfere a propriedade para a função que removeu a função de proprietário. Quando uma tarefa transfere a propriedade, ela é pausada automaticamente e novas execuções não são agendadas até que o novo proprietário retome a tarefa.

Se você descartar a função enquanto a tarefa estiver em execução, a execução da tarefa concluirá o processamento na função descartada.

Execução de tarefa de serviço do sistema¶

O Snowflake executa tarefas com os privilégios do proprietário da tarefa, mas as execuções de tarefa não estão associadas a um usuário. Ao invés disso, cada execução é realizada por um serviço de sistema. As tarefas são desacopladas de usuários específicos para evitar complicações que podem surgir quando os usuários são descartados, bloqueados devido a problemas de autenticação ou têm suas funções removidas.

Como as execuções de tarefas são desacopladas de um usuário, o histórico de consultas das execuções de tarefas está associado ao serviço do sistema. Como tal, não há credenciais de usuário para este serviço, e nenhum indivíduo pode assumir sua identidade. A atividade para o serviço do sistema é limitada à sua conta. As mesmas proteções de criptografia e outros protocolos de segurança são incorporados a este serviço, assim como são aplicados para outras operações.