Créer un flux de données à l’aide d’Openflow

Cette rubrique décrit le processus de création d’un flux de données dans Openflow.

Conditions préalables

Configurer Openflow

Procédure

Une fois que votre environnement d’exécution est en place, nous allons créer un pipeline de données simple. Par exemple, nous allons générer des enregistrements sur la base d’un schéma spécifié, filtrer ces enregistrements sur la base d’une requête SQL, puis envoyer les données à Snowflake.

Pour une description détaillée de la manière de construire des flux de données, voir Apache NiFi documentation.

  1. Ouvrez l’application Openflow. La large zone de la grille, probablement vide, s’appelle le canevas et accueille les composants que vous créerez pour mettre en œuvre votre flux de données.

  2. Créez un groupe de processus. Faites glisser l’icône Groupe de processus de la palette d’outils en haut de la page sur le canevas. Lorsque vous relâchez votre pointeur, une fenêtre contextuelle Créer un groupe de processus apparaît.

  3. Saisissez un nom pour votre flux de données, par exemple Flow Example, et cliquez sur Add.

  4. Facultatif : cliquez avec le bouton droit de la souris sur le groupe de processus que vous venez de créer et sélectionnez Enter Group ` dans le menu contextuel. Vous pouvez également double-cliquer sur le groupe de processus. Cela crée une abstraction visuelle par rapport au niveau supérieur de la toile.

  5. Ajoutez un processeur. Pour ajouter un processeur, sélectionnez l’outil Processor et faites-le glisser sur la toile, puis relâchez votre clic.

    La boîte de dialogue Add Processor apparaît.

  6. Sélectionnez le processeur GenerateRecord ` dans la liste et cliquez sur Add.

    Le canevas affiche maintenant un processeur nouvellement ajouté, vous.

    Note

    Vous pouvez ajouter plusieurs processeurs.

  7. Ajoutez les processeurs suivants. Ils seront configurés dans les étapes suivantes :

    1. QueryRecord

    2. PutDatabaseRecord

  8. Configurez les processeurs.

    Double-cliquez sur un processeur. La boîte de dialogue Edit Processor apparaît.

    Modifiez les propriétés suivantes :

    1. Paramètres

    2. Planification

    3. Propriétés

    4. Relations :

    5. Commentaires

  9. Créez des connexions entre les transformateurs.

    1. Survolez le premier processeur. Un cercle avec une flèche à l’intérieur apparaît au milieu du processeur.

    2. Cliquez sur le cercle avec la flèche à l’intérieur et faites glisser le pointeur vers le deuxième processeur. Une ligne rouge en pointillés apparaît alors, indiquant qu’il n’est pas prêt à établir une connexion.

    3. Déplacez le sprite sur le deuxième processeur.

      La ligne en pointillé devient verte et un cadre vert apparaît autour du processeur cible.

    4. Relâchez la souris. La fenêtre Create Connection s’affiche.

    5. Notez les noms From Processor et To Processor. Sélectionnez la section :ui: “Relationships`, cochez Success.

    6. Cliquez sur Add. La nouvelle connexion est créée.

    La connexion est soutenue par une file d’attente de FlowFiles qui les héberge jusqu’à ce que le prochain processeur soit déclenché et les consomme.

  10. Ajoutez le service de contrôleur SnowflakeConnectionService au flux.

  11. Modifiez le service du contrôleur et remplissez les champs obligatoires.

  12. Connectez-vous à votre compte Snowflake et créez une base de données.

  13. Dans le schéma PUBLIC de la base de données, créez une table standard.

create table SAMPLE_DATA (
    name STRING,
    country STRING
)
Copy

  1. Exécutez le flux sur Openflow.

  2. Interroger les données.

Langage: Français