Gérer Openflow

Cette rubrique décrit les étapes de la gestion des composants Openflow.

Supprimer un déploiement

La suppression d’un déploiement supprime le pool de calcul de gestion et toute configuration au niveau du déploiement. Vous devez d’abord supprimer tous les environnements d’exécution. Les données ou objets déjà intégrés dans Snowflake ne sont pas concernés.

Avertissement

La suppression d’un déploiement est irréversible. Avant de procéder à la suppression, assurez-vous que tous les environnements d’exécution ont été supprimés et que vous n’avez plus besoin de la configuration de déploiement.

À partir de la console AWS :

  1. Naviguez jusqu’aux instances EC2.

  2. Sélectionnez l’instance openflow-agent-{deployment-key} avec votre clé de déploiement.

  3. En haut de la page, cliquez sur Connect.

  4. Passez de EC2 Instance Connect à Connect using EC2 Instance Connect Endpoint. Laissez le point de terminaison par défaut de EC2 Instance Connect.

  5. Cliquez sur Connect. Un nouvel onglet ou une nouvelle fenêtre du navigateur apparaît avec une interface de ligne de commande.

  6. Exécutez ./destroy.sh depuis l’interface système.

    • Cette opération peut prendre 20 à 30 minutes. Si votre connexion est interrompue, le processus continue son exécution en arrière-plan.

    • Vous pouvez vous reconnecter et voir son état avec la commande : journalctl -u docker -f -n 250

    • Le processus destroy est terminé lorsque vous voyez la sortie de delete successful.

  7. Naviguez sur CloudFormation dans la console AWS pour votre région.

  8. Supprimez la pile CloudFormation pour votre déploiement.

À partir de Snowsight :

  1. Dans le menu de navigation, sélectionnez Ingestion » Openflow.

  2. Sélectionnez Launch Openflow.

  3. Sélectionnez l’onglet Deployments.

  4. Dans la ligne du déploiement que vous souhaitez supprimer, sélectionnez l’icône Plus d’options.

  5. Sélectionnez Delete.

  6. Dans la boîte de dialogue de confirmation, saisissez delete pour confirmer la suppression.

  7. Cliquez sur Delete deployment.

Mise à niveau d’un déploiement

Un déploiement comprend plusieurs composants : l’agent, le service de déploiement, l’UI de déploiement, la passerelle d’exécution et l’opérateur d’exécution Vous pouvez effectuer une mise à niveau via l’UI ou, pour les déploiements BYOC, via le script de l’agent de déploiement. Pour plus de détails sur le contenu de chaque version, voir Historique des versions Openflow.

Note

Seul le propriétaire d’un déploiement peut effectuer une mise à niveau.

Mettre à niveau depuis l’UI

  1. Connectez-vous à Snowsight.

  2. Dans le menu de navigation, sélectionnez Ingestion » Openflow.

  3. Sélectionnez Launch Openflow.

  4. Sélectionnez l’onglet Deployments.

  5. Recherchez la flèche de mise à niveau à gauche du nom du déploiement. Cela indique qu’une mise à niveau est disponible.

    Onglet Déploiements affichant l’icône en forme de flèche de mise à niveau à côté du nom d’un déploiement

  6. Sélectionnez Trois points verticaux indiquant plus d'options à côté du déploiement » Upgrade.

Mise à niveau via l’agent de déploiement (BYOC)

Pour les déploiements BYOC, utilisez le script de l’agent de déploiement pour mettre à niveau l’agent, le service de déploiement, l’UI de déploiement, la passerelle d’exécution et l’opérateur d’exécution.

Connexion à l’agent de déploiement

  1. Naviguez vers Openflow.

  2. Sélectionnez l’onglet Deployments.

  3. Voyez les détails de votre déploiement et notez la clé de déploiement.

  4. Dans votre compte AWS, affichez les instances EC2 et filtrez-les à l’aide de la clé de déploiement.

  5. Localisez l’instance de l’agent de déploiement EC2 nommée openflow-agent-{deployment-key}.

  6. Connectez-vous à l’aide du point de terminaison de connexion à l’instance EC2 et en acceptant toutes les valeurs par défaut.

  7. Exécutez les commandes restantes à partir du nouvel onglet du navigateur ou de la nouvelle fenêtre qui apparaît avec une interface de ligne de commande.

Vérifiez si des mises à niveau sont disponibles

cat ~/.upgrade
Copy

Le script affichera la dernière version disponible des différents composants de déploiement.

Si aucune mise à niveau n’est disponible, vous verrez une sortie similaire à ceci :

AGENT_IMAGE_VERSION_UPGRADE=
OPERATOR_CHART_VERSION_UPGRADE=
GATEWAY_IMAGE_VERSION_UPGRADE=
DPS_CHART_VERSION_UPGRADE=
DPUI_CHART_VERSION_UPGRADE=

Sinon, vous verrez la version que les composants mis à niveau utiliseront, comme :

AGENT_IMAGE_VERSION_UPGRADE=0.17.0
OPERATOR_CHART_VERSION_UPGRADE=0.31.0
GATEWAY_IMAGE_VERSION_UPGRADE=
DPS_CHART_VERSION_UPGRADE=
DPUI_CHART_VERSION_UPGRADE=

Mise à niveau de l’AMI pour le déploiement BYOC d’Openflow

Lorsque vous mettrez à niveau votre déploiement BYOC d’Openflow, Openflow trouvera la dernière AMI pour Amazon Linux 2023 recommandée par le ` Gestionnaire de systèmes AWS<https://aws.amazon.com/systems-manager/>`_ et procédera à une mise à niveau.

Si une nouvelle AMI est trouvée, tous les services Openflow dans votre déploiement seront redémarrés, et les exécutions seront temporairement arrêtées. Les exécutions et les connecteurs Openflow maintiennent l’intégration des données entre les redémarrages automatiques.

Snowflake ne met pas automatiquement à niveau les déploiements. Vous déterminez le calendrier et la fréquence des mises à niveau.

Lancer la mise à niveau

Si la sortie indique que des mises à niveau sont disponibles, exécutez le script suivant pour lancer la mise à niveau. Les déploiements Openflow plus anciens peuvent utiliser le script upgrade-data-plane.sh à la place.

./upgrade.sh
Copy

Vous verrez une sortie similaire à celle-ci :

openflow-data-plane-agent-aws is set to version 0.16.0
   Upgrade set to version 0.17.0
openflow-dataplane-service-chart is set to version 0.47.0
   No upgrade is available
openflow-dataplane-ui-chart is set to version 0.5.0
   No upgrade is available
openflow-runtime-gateway is set to version 2025.6.8.2
   No upgrade is available
runtime-operator-chart is set to version 0.30.0
   Upgrade set to version 0.31.0

Ensuite, vous avez deux options :

  • Attendez une mise à niveau automatique : le système lancera automatiquement le processus de mise à niveau dans un délai d’environ 10 minutes.

  • Mise à niveau manuelle : pour démarrer la mise à niveau immédiatement, exécutez la commande suivante :

./create.sh
Copy

Contrôler le processus de mise à niveau

Pour suivre la progression de la mise à niveau, utilisez la commande journalctl:

journalctl -u openflow-apply-infrastructure -f -n 250
Copy

Vérifier la réussite de la mise à niveau

Une mise à niveau réussie présente généralement une sortie similaire à celle-ci :

All resources applied successfully and log uploaded to s3
openflow-apply-infrastructure.service: Deactivated successfully

Mise à niveau d’un environnement d’exécution

Snowflake publie régulièrement des mises à jour des environnements d’exécution qui introduisent de nouveaux processeurs Openflow, des versions plus récentes des processeurs existants ou de nouvelles fonctionnalités de l’environnement d’exécution. Lorsque des mises à jour sont disponibles, un indicateur apparaît à côté du nom de l’environnement d’exécution dans l’UI. Pour plus de détails sur le contenu de chaque version, voir Historique des versions Openflow.

Note

Seul le propriétaire d’un déploiement peut effectuer une mise à niveau.

  1. Connectez-vous à Snowsight.

  2. Dans le menu de navigation, sélectionnez Ingestion » Openflow.

  3. Sélectionnez Launch Openflow.

  4. Sélectionnez l’onglet Runtimes.

  5. Cherchez la flèche de mise à niveau à gauche du nom de l’environnement d’exécution. Cela indique qu’une mise à niveau est disponible.

    Onglet Environnement d’exécutions affichant l’icône en forme de flèche de mise à niveau à côté du nom d’un environnement d’exécution

  6. Sélectionnez Trois points verticaux indiquant plus d'options à côté de l’environnement d’exécution » Upgrade.

Mettre à niveau un connecteur

Les mises à jour des connecteurs sont rendues disponibles par Snowflake lorsque des fonctionnalités sont ajoutées, que la logique de traitement est améliorée ou que de nouvelles versions de processeurs sont utilisées, par exemple pour ajouter la prise en charge d’une nouvelle version API source.

Lorsque les mises à jour des connecteurs sont disponibles, vous voyez une icône Upgrade dans votre groupe de processus sur la zone de préparation.

Note

Vous ne pouvez mettre à niveau les connecteurs qu’après avoir mis à niveau leur environnement d’exécution.

Pour mettre à niveau un connecteur, procédez comme suit :

  1. Dans le menu de navigation, sélectionnez Ingestion » Openflow.

  2. Sélectionnez Launch Openflow.

  3. Sélectionnez l’onglet Runtimes.

  4. Sélectionnez le nom de l’environnement d’exécution ou sélectionnez View Canvas dans le menu More Options pour accéder au canevas.

  5. Recherchez les groupes de processeurs avec une flèche de mise à niveau rouge à côté de leurs noms. Pour chacun de ces groupes, modifiez la version :

    1. Recommandé : Vérifiez si le paramètre utilise une valeur personnalisée pour le contexte de paramètre. Si c’est le cas, notez la valeur personnalisée. Vous devrez la réappliquer après la mise à niveau.

      1. Faites un clic droit sur le groupe de processus et sélectionnez Parameters.

      2. Sélectionnez Parameters dans la liste Contextes de paramètres.

      3. Sélectionnez l’onglet Inheritance, et vérifiez s’il utilise des valeurs personnalisées. Si c’est le cas, notez les valeurs personnalisées.

    2. Cliquez avec le bouton droit de la souris sur le groupe et sélectionnez. Version » Change Version.

    3. Sélectionnez la dernière version disponible et sélectionnez Change.

    4. Confirmez que le connecteur a été mis à niveau vers la dernière version. La version mise à niveau doit afficher une coche verte.

    5. Vérifiez que tous les processeurs du groupe de processus du connecteur sont en cours d’exécution. Si ce n’est pas le cas, lancez-les.

      Vous pouvez également valider la version en passant votre souris sur la bulle de dialogue en bas à droite du groupe de processus.

    6. Si vous avez pris note d’une valeur de paramètre personnalisé à l’étape 4, appliquez à nouveau la valeur personnalisée. Pour plus d’informations, voir Connecteurs Openflow.

Configurer le registre de flux de Snowflake Connector

Important

Les premières prévisualisations préliminaires d’Openflow ne configuraient pas les environnements d’exécution pour les mises à niveau des connecteurs. Si vous ne voyez pas l’option Version lorsque vous cliquez avec le bouton droit sur un groupe de processus, vous devez configurer le registre de flux de Snowflake Connector et activer manuellement le contrôle de version pour les connecteurs existants.

Pour configurer le registre de flux de Snowflake Connector, procédez comme suit :

  1. Accédez au canevas.

  2. Cliquez sur le menu dans le coin supérieur droit et sélectionnez Controller Settings.

  3. Passez à l’onglet Registry Clients.

  4. Cliquez sur l’icône + pour ajouter un nouveau client de registre.

  5. Sélectionnez le ConnectorFlowRegistryClient et sélectionnez Add.

  6. Cliquez sur More Options pour la ligne ConnectorFlowRegistryClient et sélectionnez Edit.

  7. Entrez /nifi/configuration_resources/connector_flow_registry comme valeur pour Storage Location et sélectionnez Apply.

Après avoir configuré le registre de flux de Snowflake Connector, vous pouvez maintenant activer le contrôle de version pour vos connecteurs existants.

Pour activer le contrôle de version pour les connecteurs existants, procédez comme suit :

  1. Accédez à la zone de préparation et localisez le groupe de processus auquel vous souhaitez ajouter le contrôle de version.

  2. Faites un clic droit sur le groupe de processus et sélectionnez Version » Set Version.

  3. Dans la boîte de dialogue Set Version, choisissez le flux qui correspond à votre groupe de processus.

    Par exemple, choisissez sqlserver si vous utilisez le connecteur de serveur SQL.

    Notez que les noms des flux ne correspondent pas exactement au nom des connecteurs.

  4. Sélectionnez la dernière version, puis Set version pour activer le contrôle de version.

  5. Dans le canevas, faites à nouveau un clic droit sur le groupe de processus et sélectionnez Version » Revert Local Changes pour appliquer la dernière version du connecteur.

  6. Examinez la liste des modifications et sélectionnez Revert.

  7. Confirmez que votre connecteur a été mis à niveau vers la dernière version qui doit maintenant afficher une coche verte. Vous pouvez également valider la version en passant votre souris sur la bulle de dialogue en bas à droite du groupe de processus.