Présentation des flux et des tâches

Snowflake prend en charge les pipelines de données continus avec des flux et des tâches :

Flux:

Un objet de flux enregistre le delta des informations de capture de données modifiées (CDC) d’une table (telle qu’une table intermédiaire), y compris les insertions et les autres modifications apportées au langage de manipulation des données (DML). Un flux permet d’interroger et de consommer un ensemble de modifications apportées à une table, au niveau des lignes, entre deux points de transaction.

Dans un pipeline de données en continu, les flux de table enregistrent lorsque des tables de zone de préparation et des tables en aval sont remplies avec des données provenant d’applications métiers utilisant le chargement continu des données et pouvant être traitées ultérieurement à l’aide des instructions SQL.

Pour plus d’informations, voir Présentation des flux.

Tâches:

Un objet de tâche définit un programme périodique d’exécution d’une instruction SQL , y compris des instructions appelant des procédures stockées. Les tâches peuvent être chaînées pour une exécution successive afin de prendre en charge des traitements périodiques plus complexes.

Les tâches peuvent éventuellement utiliser des flux de table pour fournir un moyen pratique de traiter en continu des données nouvelles ou modifiées. Une tâche peut transformer de nouvelles lignes ou des lignes modifiées qu’un flux met en évidence. Chaque fois qu’une tâche est planifiée pour s’exécuter, elle peut vérifier si un flux contient les données de modification d’une table (à l’aide de SYSTEM$STREAM_HAS_DATA) et consommer les données de modification ou ignorer l’exécution en cours s’il n’existe aucune donnée de modification.

Les utilisateurs peuvent définir une simple structure arborescente de tâches exécutant des instructions SQL consécutives afin de traiter les données et de les déplacer vers différentes tables de destination.

Pour plus d’informations, voir Introduction aux tâches.

Pour d’autres fonctionnalités de pipelines de données continus, voir :

Langage: Français