Introduction aux tâches¶

Tâches sans serveur¶

Les tâches sans serveur vous permettent de vous appuyer sur des ressources de calcul gérées par Snowflake plutôt que sur des entrepôts virtuels gérés par des utilisateurs. Snowflake redimensionne automatiquement les ressources de calcul sans serveur en fonction des besoins de chaque charge de travail. Snowflake détermine la taille idéale des ressources de calcul sans serveur pour une exécution donnée en se basant sur une analyse dynamique des statistiques des exécutions les plus récentes de la même tâche. La taille de calcul maximale d’une tâche sans serveur est équivalente à un entrepôt virtuel XXLARGE géré par l’utilisateur. Plusieurs charges de travail dans votre compte partagent un ensemble commun de ressources de calcul.

Pour utiliser le modèle de calcul sans serveur, omettez le paramètre WAREHOUSE lorsque vous créez une tâche à l’aide de CREATE TASK. Notez que le rôle qui exécute la commande CREATE TASK doit avoir le privilège global EXECUTE MANAGED TASK. Pour plus d’informations sur les exigences de contrôle d’accès aux tâches, voir Sécurité des tâches.

La facturation des exécutions de tâches sans serveur diffère du modèle de consommation de crédits standard pour les tâches qui s’appuient sur des entrepôts virtuels pour les ressources de calcul. Pour plus d’informations, voir Coûts des tâches.

Tâches gérées par l’utilisateur¶

Vous pouvez également gérer les ressources de calcul pour des tâches individuelles en spécifiant un entrepôt virtuel existant lorsque vous créez la tâche. Cette option exige que vous choisissiez un entrepôt dont la taille est adaptée aux actions SQL exécutées par la tâche.

Sélection d’une taille d’entrepôt¶

Si vous choisissez d’utiliser les entrepôts existants pour fournir les ressources de calcul pour des tâches en particulier, suivez les meilleures pratiques décrites dans Considérations relatives aux entrepôts. Pour comprendre les besoins en calcul de votre tâche, analysez le temps d’exécution moyen d’une tâche unique ou du graphique de tâches en utilisant différents entrepôts en fonction de la taille de l’entrepôt et du clustering. Vous devez également vous demander si l’entrepôt est partagé par plusieurs processus.

Pour analyser la durée d’exécution moyenne de vos tâches, interrogez la vue TASK_HISTORY Account Usage. La différence moyenne entre les heures planifiées et effectuées pour une tâche est la durée d’exécution moyenne attendue de la tâche. Cette différence inclut le temps pendant lequel la tâche a été mise en file d’attente alors que d’autres processus utilisent les ressources de calcul de l’entrepôt.

Pour des graphiques de tâches, il y a un bref décalage après l’exécution d’une tâche prédécesseur et l’exécution de toute tâche enfant. Choisissez un entrepôt dont la taille est suffisamment grande pour permettre l’exécution simultanée de plusieurs tâches enfants.

Le diagramme suivant montre une période de 1 minute au cours de laquelle une seule tâche a été mise en file d’attente pendant 20 secondes, puis exécutée pendant 40 secondes. Cela signifie que d’autres processus ont utilisé les ressources de l’entrepôt pendant les 20 premières secondes suivant la planification de la tâche.

Le diagramme suivant montre un graphique de tâches qui nécessite en moyenne 5 minutes pour chaque exécution. Le diagramme montre la fenêtre temporelle pour 2 exécutions du graphique de tâches. Cette fenêtre est calculée à partir du moment où la tâche racine doit démarrer jusqu’à ce que la dernière tâche enfant soit terminée.

Dans cet exemple, l’entrepôt sur lequel s’exécute le graphique de tâches est partagé avec d’autres opérations simultanées. Ces opérations simultanées consomment toutes les ressources disponibles lorsque chaque tâche du graphique de tâches termine son exécution et avant le démarrage de la tâche suivante. Par conséquent, la période de chaque tâche inclut une certaine quantité de files d’attente pendant qu’elle attend que d’autres opérations se terminent et libèrent des ressources de calcul.

Recommandations pour la sélection d’un modèle de calcul¶

Le tableau suivant décrit divers facteurs qui peuvent vous aider à décider quand utiliser des tâches sans serveur plutôt que des tâches gérées par l’utilisateur :

La taille maximale d’une exécution de tâche sans serveur est équivalente à un entrepôt XXLARGE. Si la charge de travail d’une tâche nécessite un entrepôt plus grand, créez une tâche gérée par l’utilisateur avec un entrepôt de la taille requise.

Planification des tâches¶

Les tâches sont généralement exécutées selon une planification. Vous pouvez définir la planification lors de la création d’une tâche en utilisant CREATE TASK ou plus tard en utilisant ALTER TASK.

Une tâche autonome ou la tâche racine d’un graphique de tâches s’exécute généralement selon une planification. Vous pouvez définir la planification lors de la création d’une tâche en utilisant CREATE TASK ou plus tard en utilisant ALTER TASK.

Snowflake garantit qu’une seule instance d’une tâche avec une planification est exécutée à un moment. Si une tâche est toujours en cours d’exécution lors de la prochaine heure d’exécution planifiée, cette heure planifiée est ignorée.

Snowflake redimensionne et met automatiquement à l’échelle les ressources de calcul pour les tâches sans serveur. Pour les tâches gérées par l’utilisateur, choisissez une taille d’entrepôt appropriée pour que la tâche accomplisse sa charge de travail selon la planification. Pour plus d’informations, voir Choisir une taille d’entrepôt.

Tâches déclenchées¶

Vous pouvez utiliser les tâches déclenchées pour qu’elles ne s’exécutent que lorsqu’un flux défini contient de nouvelles données. Cela simplifie un cas d’usage courant consistant à interroger fréquemment une source dont la disponibilité de nouvelles données est imprévisible, tout en réduisant la latence grâce à un traitement immédiat dès qu’il y a de nouvelles données.

Les tâches déclenchées n’utilisent pas de ressources de calcul tant que le flux défini n’a pas de données et ne déclenche pas l’exécution de la tâche.

Les conditions d’exécution des tâches déclenchées sont les suivantes :

• Lorsque des données sont modifiées dans la table que le flux associé suit.

• Lors de la première reprise de la tâche, pour consommer les données déjà présentes dans le flux.

• Les tâches déclenchées exécutent automatiquement un contrôle de santé toutes les 12 heures pour éviter que le flux ne devienne obsolète. S’il n’y a pas de données dans le flux, Snowflake ignore l’exécution sans utiliser de ressources de calcul.

CREATE TASK triggeredTask  WAREHOUSE = my_warehouse
  WHEN system$stream_has_data('my_stream')
  AS
    INSERT INTO my_downstream_table
    SELECT * FROM my_stream;

ALTER TASK triggeredTask RESUME;

ALTER TASK task SUSPEND;
ALTER TASK task UNSET SCHEDULE;
ALTER TASK task RESUME;

Exécution manuelle des tâches¶

La commande EXECUTE TASK déclenche manuellement une exécution unique d’une tâche. Cette commande SQL est utile pour tester des tâches nouvelles ou modifiées avant de leur permettre d’exécuter du code SQL en production.

Vous pouvez appeler cette commande SQL directement dans les scripts ou dans les procédures stockées. En outre, cette commande prend en charge l’intégration de tâches dans des pipelines de données externes. Tous les services tiers qui peuvent s’authentifier dans votre compte Snowflake et autoriser des actions SQL peuvent exécuter la commande EXECUTE TASK pour exécuter des tâches.

Gestion des versions des exécutions de tâches¶

Lorsqu’une tâche autonome est reprise pour la première fois ou exécutée manuellement, une version initiale de la tâche est définie. La tâche autonome s’exécute en utilisant cette version. Après la suspension et la modification d’une tâche, une nouvelle version est définie lorsque la tâche autonome est reprise ou exécutée manuellement.

Lorsque la tâche est suspendue, toutes les futures exécutions planifiées de la tâche sont annulées ; cependant, les tâches en cours d’exécution continuent de s’exécuter en utilisant la version actuelle.

Par exemple, supposons que la tâche soit suspendue, mais qu’une exécution planifiée de cette tâche ait déjà commencé. Le propriétaire de la tâche modifie le code SQL appelé par la tâche alors que celle-ci est toujours en cours d’exécution. La tâche s’exécute et exécute le code SQL dans sa définition en utilisant la version de la tâche qui existait lorsque la tâche a commencé son exécution. Lorsque la tâche est reprise ou est exécutée manuellement, une nouvelle version de la tâche est définie. Cette nouvelle version inclut les modifications apportées à la tâche.

Pour récupérer l’historique des versions de tâches, interrogez la vue TASK_VERSIONS Account Usage (dans la base de données partagée SNOWFLAKE).

Suspension automatique de tâches après des échecs d’exécution¶

Il est possible de suspendre automatiquement des tâches après un nombre spécifié d’exécutions consécutives qui échouent ou dont le délai est dépassé. Cette fonction peut réduire les coûts en suspendant les tâches qui consomment des crédits Snowflake, mais ne s’exécutent pas jusqu’à leur terme.

Définir le paramètre SUSPEND_TASK_AFTER_NUM_FAILURES = num sur une tâche Lorsque le paramètre est défini sur une valeur supérieure à 0, les tâches sont automatiquement suspendues après que le nombre spécifié d’exécutions consécutives de la tâche ait échoué ou ait expiré.

Ce paramètre peut être défini lors de la création d’une tâche à l’aide de CREATE TASK ou après à l’aide de ALTER TASK. Vous pouvez également modifier cette valeur dans Snowsight.

Le paramètre SUSPEND_TASK_AFTER_NUM_FAILURES peut également être défini au niveau du compte, de la base de données ou du schéma. Le paramètre s’applique à toutes les tâches contenues dans l’objet modifié. Notez que la définition explicite du paramètre à un niveau inférieur remplace la valeur de paramètre définie à un niveau supérieur.

Réessayer automatiquement les tâches qui ont échoué¶

Si des graphiques de tâches se terminent dans un statut FAILED, Snowflake peut automatiquement réessayer les graphiques de tâches. La répétition automatique de tâches est désactivée par défaut. Pour activer cette fonction, définissez TASK_AUTO_RETRY_ATTEMPTS sur une valeur supérieure à 0.

Les tâches qui utilisent les notifications d’erreur envoient des notifications pour chaque nouvelle tentative échouée. Pour plus d’informations, voir Configuration d’une tâche pour envoyer des notifications d’erreur.

Lorsque vous définissez la valeur du paramètre TASK_AUTO_RETRY_ATTEMPTS au niveau du compte, de la base de données ou du schéma, le changement est appliqué aux tâches contenues dans l’objet modifié lors de leur exécution planifiée suivante.

Privilèges de contrôle d’accès¶

Créer des rôles personnalisés pour gérer les autorisations de tâches¶

Avec les rôles personnalisés, vous pouvez facilement gérer les autorisations accordées à chaque compte ou rôle dans Snowflake. Pour modifier les autorisations de tous les comptes ou rôles utilisant le rôle personnalisé, mettez ce dernier à jour. Vous pouvez également révoquer les autorisations en supprimant le rôle personnalisé.

USE SYSADMIN;

CREATE ROLE warehouse_task_creation
  COMMENT = 'This role can create user-managed tasks.';

USE ACCOUNTADMIN;

GRANT CREATE TASK
  ON SCHEMA schema1
  TO ROLE warehouse_task_creation;

GRANT USAGE
  ON WAREHOUSE warehouse1
  TO ROLE warehouse_task_creation;

USE SYSADMIN;

CREATE ROLE serverless_task_creation
  COMMENT = 'This role can create serverless tasks.';

USE ACCOUNTADMIN;

GRANT CREATE TASK
  ON SCHEMA schema1
  TO ROLE serverless_task_creation;

GRANT EXECUTE MANAGED TASK ON ACCOUNT
  TO ROLE serverless_task_creation;

USE ROLE securityadmin;

CREATE ROLE taskadmin;

USE ROLE accountadmin;

GRANT EXECUTE TASK, EXECUTE MANAGED TASK ON ACCOUNT TO ROLE taskadmin;

USE ROLE securityadmin;

GRANT ROLE taskadmin TO ROLE myrole;

Supprimer un rôle de propriétaire de tâche¶

Lorsque vous supprimez le rôle de propriétaire d’une tâche, la tâche transfère la propriété au rôle qui a supprimé le rôle de propriétaire. Lorsqu’une tâche transfère sa propriété, elle est automatiquement mise en pause et les nouvelles exécutions ne sont pas planifiées tant que le nouveau propriétaire n’a pas repris la tâche.

Si vous supprimez le rôle alors que la tâche est en cours d’exécution, le traitement de la tâche s’achève sous le rôle supprimé.

Exécution des tâches de service système¶

Snowflake exécute des tâches avec les privilèges du propriétaire, mais les tâches exécutées ne sont pas associées à un utilisateur. Au lieu de cela, chaque exécution est effectuée par un service système. Les tâches sont découplées d’utilisateurs spécifiques pour éviter les complications pouvant survenir lorsque des utilisateurs sont détruits, verrouillés en raison de problèmes d’authentification, ou lorsque des rôles sont supprimés.

Étant donné que les tâches exécutées sont découplées d’un utilisateur, l’historique des requêtes associées à ces tâches est associé au service système. En tant que tel, il n’existe aucun identifiants de connexion utilisateur pour ce service et aucune personne ne peut assumer son identité. L’activité pour le service système est limitée à votre compte. Les mêmes protections de chiffrement et autres protocoles de sécurité sont intégrés à ce service comme c’est le cas pour d’autres opérations.