Introduction aux tâches¶

Limitations¶

• La taille maximale de calcul pour une tâche sans serveur est équivalente à un entrepôt virtuel X2LARGE.

Créer une tâche à l’aide du modèle de calcul sans serveur¶

Lorsque vous utilisez CREATE TASK ou ALTER TASK, ne tenez pas compte du paramètre WAREHOUSE.

Le rôle qui exécute la tâche doit avoir le privilège global EXECUTE MANAGED TASK. Pour plus d’informations sur les exigences de contrôle d’accès aux tâches, voir Sécurité des tâches.

Vous pouvez prendre un certain contrôle sur le coût et les performances des tâches sans serveur en réglant les paramètres suivants :

• SERVERLESS_TASK_MAX_STATEMENT_SIZE : la taille maximale de l’entrepôt pour éviter les coûts imprévus.

• SERVERLESS_TASK_MIN_STATEMENT_SIZE : la taille minimale de l’entrepôt pour des performances prévisibles.

• TARGET_COMPLETION_INTERVAL : le temps d’achèvement de la tâche souhaité.

Lorsque ces paramètres sont spécifiés, la priorité est la suivante :

• SERVERLESS_TASK_MAX_STATEMENT_SIZE

• SERVERLESS_TASK_MIN_STATEMENT_SIZE

• TARGET_COMPLETION_INTERVAL

Comment Snowflake estime les ressources de calcul sans serveur¶

Snowflake estime automatiquement les ressources de calcul nécessaires à la réalisation d’une tâche en fonction du cadre temporel cible et des performances des tâches précédentes.

Le cadre de la cible peut être défini avec TARGET_COMPLETION_INTERVAL. Si cette valeur n’est pas définie, Snowflake redimensionne les ressources de calcul sans serveur pour terminer avant la prochaine heure d’exécution planifiée.

Une fois la tâche terminée, Snowflake estime les ressources de calcul nécessaires comme suit :

• Si les tâches s’achèvent trop rapidement (dans un cadre temporel inférieur d’un facteur au cadre cible), Snowflake réduit les ressources lors des exécutions suivantes d’une taille d’entrepôt.

• Si les tâches s’achèvent trop lentement (dans un cadre temporel supérieur d’un facteur au cadre cible), Snowflake augmente les ressources lors des exécutions suivantes d’une taille d’entrepôt.

Exemples¶

Exemple 1 : Créer une tâche sans serveur à exécuter toutes les heures avec un intervalle d’achèvement cible de 120 minutes :

CREATE TASK SCHEDULED_T1 SCHEDULE='USING CRON 0 * * * * America/Los_Angeles'
TARGET_COMPLETION_INTERVAL='120 MINUTE' AS SELECT 1;

En définissant l’TARGET_COMPLETION_INTERVAL sur une durée relativement longue, vous indiquez qu’il est acceptable que l’exécution de la tâche se prolonge. Snowflake dimensionne automatiquement le calcul sans serveur de manière à ce que l’exécution de la tâche se termine dans l’TARGET_COMPLETION_INTERVAL spécifié.

Exemple 2 : Créer une tâche sans serveur à exécuter toutes les heures avec une cible d’achèvement de 10 minutes :

CREATE TASK SCHEDULED_T2 SCHEDULE='USING CRON 0 * * * * UTC'
TARGET_COMPLETION_INTERVAL='10 MINUTE'
SERVERLESS_TASK_MAX_STATEMENT_SIZE='LARGE'
AS SELECT 1;

En définissant l’TARGET_COMPLETION_INTERVAL avec une durée relativement courte, cela indique une préférence pour une tâche à accomplir rapidement. Snowflake dimensionne automatiquement le calcul sans serveur de manière à ce que l’exécution de la tâche se termine dans l’TARGET_COMPLETION_INTERVAL spécifié jusqu’à ce que la SERVERLESS_TASK_MAX_STATEMENT_SIZE soit atteinte.

Exemple 3 : Créer une tâche sans serveur planifiée une fois par jour à un moment donné dans un intervalle d’achèvement cible et une plage de tailles d’entrepôt minimale et maximale :

CREATE TASK SCHEDULED_T3 SCHEDULE='USING CRON 0 0 * * * UTC'
TARGET_COMPLETION_INTERVAL='180 M'
SCHEDULING_MODE = 'FLEXIBLE'
SERVERLESS_TASK_MIN_STATEMENT_SIZE='MEDIUM' SERVERLESS_TASK_MAX_STATEMENT_SIZE='LARGE' AS SELECT 1;

Avec cette configuration, la tâche sans serveur s’exécute une fois par jour à minuit sur au moins un entrepôt moyen avec un TARGET_COMPLETION_INTERVAL de 3 heures. Snowflake dimensionne automatiquement le calcul sans serveur de manière à ce que l’exécution de la tâche se termine dans l’TARGET_COMPLETION_INTERVAL spécifié jusqu’à ce que la SERVERLESS_TASK_MAX_STATEMENT_SIZE soit atteinte. En définissant SCHEDULING_MODE comme flexible, la tâche peut commencer à n’importe quel moment de la journée.

Exemple 4 : Créer une tâche sans serveur planifiée une fois par jour sans intervalle d’achèvement cible :

CREATE TASK SCHEDULED_T4 SCHEDULE='USING CRON 0 0 * * * UTC'
SERVERLESS_TASK_MAX_STATEMENT_SIZE='LARGE' AS SELECT 1;

Avec cette configuration, la tâche sans serveur s’exécute une fois par jour à minuit. Si une série de durées d’exécution de tâches ne se termine pas avant la prochaine heure planifiée, Snowflake dimensionne automatiquement le calcul sans serveur de manière à ce que l’exécution des tâches se termine dans la SCHEDULE spécifiée jusqu’à ce que la SERVERLESS_TASK_MAX_STATEMENT_SIZE soit atteinte.

Pour plus d’informations sur les paramètres et la syntaxe, voir CREATE TASK et ALTER TASK.

Sélection d’une taille d’entrepôt¶

Si vous choisissez d’utiliser les entrepôts existants pour fournir les ressources de calcul pour des tâches en particulier, suivez les meilleures pratiques décrites dans Considérations relatives aux entrepôts. Pour comprendre les besoins en calcul de votre tâche, analysez le temps d’exécution moyen d’une tâche unique ou du graphique de tâches en utilisant différents entrepôts en fonction de la taille de l’entrepôt et du clustering. Vous devez également vous demander si l’entrepôt est partagé par plusieurs processus.

Pour analyser la durée d’exécution moyenne de vos tâches, interrogez la vue TASK_HISTORY Account Usage. La différence moyenne entre les heures planifiées et effectuées pour une tâche est la durée d’exécution moyenne attendue de la tâche. Cette différence inclut le temps pendant lequel la tâche a été mise en file d’attente alors que d’autres processus utilisent les ressources de calcul de l’entrepôt.

Pour des graphiques de tâches, il y a un bref décalage après l’exécution d’une tâche prédécesseur et l’exécution de toute tâche enfant. Choisissez un entrepôt dont la taille est suffisamment grande pour permettre l’exécution simultanée de plusieurs tâches enfants.

Le diagramme suivant montre une période de 1 minute au cours de laquelle une seule tâche a été mise en file d’attente pendant 20 secondes, puis exécutée pendant 40 secondes. Cela signifie que d’autres processus ont utilisé les ressources de l’entrepôt pendant les 20 premières secondes suivant la planification de la tâche.

Le diagramme suivant montre un graphique de tâches qui nécessite en moyenne 5 minutes pour chaque exécution. Le diagramme montre la fenêtre temporelle pour 2 exécutions du graphique de tâches. Cette fenêtre est calculée à partir du moment où la tâche racine doit démarrer jusqu’à ce que la dernière tâche enfant soit terminée.

Dans cet exemple, l’entrepôt sur lequel s’exécute le graphique de tâches est partagé avec d’autres opérations simultanées. Ces opérations simultanées consomment toutes les ressources disponibles lorsque chaque tâche du graphique de tâches termine son exécution et avant le démarrage de la tâche suivante. Par conséquent, la période de chaque tâche inclut une certaine quantité de files d’attente pendant qu’elle attend que d’autres opérations se terminent et libèrent des ressources de calcul.

Planification des tâches et heure d’été¶

L’expression cron dans une définition de tâche prend en charge la spécification d’un fuseau horaire. Les tâches planifiées où la transition de l’heure standard à l’heure d’été (ou l’inverse) se produit peuvent avoir des comportements inattendus.

Par exemple :

• De l’heure d’été à l’heure d’hiver, une tâche dont le démarrage est planifié à 1 AM dans le fuseau horaire Amérique/Los Angeles (0 1 * * * America/Los_Angeles) est exécutée deux fois. À 1 AM puis à nouveau lorsque 1:59:59 AM passe à 1:00:00 AM heure locale.

• Lorsqu’on passe de l’heure d’hiver à l’heure d’été, une tâche planifiée pour commencer à 2 AM dans le fuseau horaire Amérique/Los Angeles (0 2 * * * America/Los_Angeles) ne s’exécute pas, car l’heure locale passe de 1:59:59 AM à 3:00:00 AM.

Pour éviter les exécutions de tâches inattendues dues à l’heure d’été, prenez en compte ce qui suit :

• Ne planifiez pas l’exécution des tâches entre 1 AM et 3 AM.

• Ajustez manuellement l’expression cron pour les tâches planifiées entre le 1 AM et le 3 AM deux fois par an pour compenser le changement d’heure.

• Utilisez un format d’heure qui n’applique pas l’heure d’été, comme UTC.

Créer une tâche déclenchée¶

Utilisez CREATE TASK, et définissez le flux cible à l’aide de la clause WHEN. (Ne pas inclure le paramètre SCHEDULE.)

Affectez des ressources de calcul pour la tâche en choisissant l’une des options suivantes :

• Pour gérer manuellement les ressources (tâche d’entrepôt gérée par l’utilisateur), ajoutez le paramètre WAREHOUSE.

• Pour permettre à Snowflake de gérer les ressources (tâche sans serveur), ajoutez le paramètre TARGET_COMPLETION_INTERVAL. Snowflake estime les ressources nécessaires et s’adapte pour réaliser la tâche dans ce laps de temps.

Migrer une tâche existante d’une tâche planifiée vers une tâche déclenchée¶

Suspendez la tâche, désactivez le paramètre SCHEDULE et reprenez la tâche. La tâche existante doit avoir un flux cible défini dans la clause WHEN.

ALTER TASK task SUSPEND;
ALTER TASK task UNSET SCHEDULE;
ALTER TASK task RESUME;

Migrer une tâche déclenchée existante gérée par l’utilisateur vers une tâche déclenchée sans serveur¶

Suspendez la tâche. Supprimez le paramètre WAREHOUSE et ajoutez le paramètre TARGET_COMPLETION_INTERVAL. Reprenez la tâche.

Considérations sur les tâches déclenchées¶

• Dans les sorties SHOW TASKS et DESC TASK , la propriété SCHEDULE affiche NULL pour les tâches déclenchées.

• Dans la sortie de la vue task_history des schemas information_schema et account_usage, la colonne SCHEDULED_FROM affiche TRIGGER.

• Lorsque vous travaillez avec plusieurs flux de données, vous pouvez gérer le moment où les tâches démarrent en utilisant des paramètres conditionnels : WHEN … AND et WHEN … OR.

Limitations des tâches déclenchées¶

• Par défaut, les tâches déclenchées s’exécutent au maximum toutes les 30 secondes. Vous pouvez modifier le paramètre USER_TASK_MINIMUM_TRIGGER_INTERVAL_IN_SECONDS pour qu’il s’exécute plus fréquemment, jusqu’à toutes les 10 secondes.

• Les flux sur les tables du répertoire, les tables externes et les tables hybrides ne sont pas pris en charge.

Exemples de tâches déclenchées¶

Exemple 1 : Créer une tâche gérée par l’utilisateur qui s’exécute chaque fois que des données changent dans l’un ou l’autre des deux flux :

CREATE TASK my_task
  WHEN SYSTEM$STREAM_HAS_DATA('my_return_stream')
  OR   SYSTEM$STREAM_HAS_DATA('my_order_stream')
  WAREHOUSE = my_warehouse
  AS
    INSERT INTO customer_activity
    SELECT customer_id, return_total, return_date, ‘return’
    FROM my_return_stream
    UNION ALL
    SELECT customer_id, order_total, order_date, ‘order’
    FROM my_order_stream;

Exemple 2 : Créer une tâche à exécuter chaque fois que des changements de données sont détectés dans deux flux de données différents. Comme la tâche utilise un AND conditionnel, la tâche est ignorée si un seul des deux flux contient de nouvelles données.

Comme l’TARGET_COMPLETION_INTERVAL est de 120 minutes, Snowflake estime et ajuste les ressources de calcul nécessaires à l’accomplissement de la tâche dans ce laps de temps.

CREATE TASK triggeredTask
  WHEN SYSTEM$STREAM_HAS_DATA('orders_stream')
  TARGET_COMPLETION_INTERVAL='120 MINUTES'
  AS
    INSERT INTO completed_promotions
    SELECT order_id, order_total, order_time, promotion_id
    FROM orders_stream
    WHERE promotion_id IS NOT NULL;

Création de tâches¶

La création de tâches nécessite un rôle avec au minimum les privilèges suivants :

Tâches en cours d’exécution¶

Après la création d’une tâche, le propriétaire de la tâche doit disposer des privilèges suivants pour que la tâche puisse être exécutée :

En outre, le rôle doit disposer des autorisations requises pour exécuter l’instruction SQL exécutée par la tâche.

Affichage de l’historique des tâches¶

Pour voir les tâches, vous devez disposer d’un ou de plusieurs des privilèges suivants :

• Le rôle ACCOUNTADMIN

• Le privilège OWNERSHIP sur la tâche

• Le privilège MONITOR EXECUTION global

Reprise ou suspension de tâches¶

En plus du propriétaire de la tâche, un rôle qui a le privilège OPERATE sur la tâche peut suspendre ou reprendre la tâche. Ce rôle doit avoir le privilège USAGE sur la base de données et le schéma qui contiennent la tâche. Aucun autre privilège n’est requis.

Lorsqu’une tâche est reprise, Snowflake vérifie que le rôle de propriétaire de la tâche a les privilèges énumérés dans Tâches en cours d’exécution

Créer un rôle personnalisé pour créer des tâches¶

Snowflake nécessite des autorisations différentes pour créer des tâches sans serveur et des tâches gérées par l’utilisateur.

Par exemple, pour créer des tâches gérées par l’utilisateur, créez un rôle personnalisé nommé warehouse_task_creation et accordez à ce rôle les privilèges CREATE TASK et USAGE sur l’entrepôt dans lequel le rôle peut créer des tâches.

USE SYSADMIN;

CREATE ROLE warehouse_task_creation
  COMMENT = 'This role can create user-managed tasks.';

from snowflake.core.role import Role

root.session.use_role("SYSADMIN")

my_role = Role(
    name="warehouse_task_creation",
    comment="This role can create user-managed tasks."
)
root.roles.create(my_role)

USE ACCOUNTADMIN;

GRANT CREATE TASK
  ON SCHEMA schema1
  TO ROLE warehouse_task_creation;

from snowflake.core.role import Securable

root.session.use_role("ACCOUNTADMIN")

root.roles['warehouse_task_creation'].grant_privileges(
    privileges=["CREATE TASK"], securable_type="schema", securable=Securable(name='schema1')
)

GRANT USAGE
  ON WAREHOUSE warehouse1
  TO ROLE warehouse_task_creation;

from snowflake.core.role import Securable

root.roles['warehouse_task_creation'].grant_privileges(
    privileges=["USAGE"], securable_type="warehouse", securable=Securable(name='warehouse1')
)

Comme exemple de rôle pouvant créer des tâches sans serveur ; créez un rôle personnalisé nommé serverless_task_creation et accordez au rôle le privilège CREATE TASK et le privilège EXECUTE MANAGED TASK de niveau compte.

USE SYSADMIN;

CREATE ROLE serverless_task_creation
  COMMENT = 'This role can create serverless tasks.';

from snowflake.core.role import Role

root.session.use_role("SYSADMIN")

my_role = Role(
    name="serverless_task_creation",
    comment="This role can create serverless tasks."
)
root.roles.create(my_role)

USE ACCOUNTADMIN;

GRANT CREATE TASK
  ON SCHEMA schema1
  TO ROLE serverless_task_creation;

from snowflake.core.role import Securable

root.session.use_role("ACCOUNTADMIN")

root.roles['serverless_task_creation'].grant_privileges(
    privileges=["CREATE TASK"], securable_type="schema", securable=Securable(name='schema1')
)

GRANT EXECUTE MANAGED TASK ON ACCOUNT
  TO ROLE serverless_task_creation;

root.roles['serverless_task_creation'].grant_privileges(
    privileges=["EXECUTE MANAGED TASK"], securable_type="account"
)

Créer un rôle personnalisé pour administrer les tâches¶

Créer un rôle personnalisé disposant du privilège EXECUTE TASK et attribuer ce rôle personnalisé à tout rôle de propriétaire de tâche afin de permettre la modification de ses propres tâches. Pour supprimer la possibilité pour le rôle de propriétaire de la tâche d’exécuter la tâche, révoquez ce rôle personnalisé à partir du rôle de propriétaire de la tâche.

Par exemple, créez un nom de rôle personnalisé taskadmin et accordez-lui le privilège EXECUTE TASK. Attribuez le rôle taskadmin à un rôle de propriétaire de tâche nommé myrole :

USE ROLE securityadmin;

CREATE ROLE taskadmin;

from snowflake.core.role import Role

root.session.use_role("securityadmin")

root.roles.create(Role(name="taskadmin"))

Définissez le rôle actif sur ACCOUNTADMIN avant d’accorder les privilèges au niveau du compte au nouveau rôle

USE ROLE accountadmin;

GRANT EXECUTE TASK, EXECUTE MANAGED TASK ON ACCOUNT TO ROLE taskadmin;

root.session.use_role("accountadmin")

root.roles['taskadmin'].grant_privileges(
    privileges=["EXECUTE TASK", "EXECUTE MANAGED TASK"], securable_type="account"
)

Définissez le rôle actif sur SECURITYADMIN pour montrer que ce rôle peut accorder un rôle à un autre rôle

USE ROLE securityadmin;

GRANT ROLE taskadmin TO ROLE myrole;

from snowflake.core.role import Securable

root.session.use_role("securityadmin")

root.roles['myrole'].grant_role(role_type="ROLE", role=Securable(name='taskadmin'))

Pour plus d’informations sur la création de rôles personnalisés et de hiérarchies de rôles, voir Configuration du contrôle d’accès.