Surveiller les connecteurs à l’aide du tableau de bord des connecteurs Openflow¶

Filtrage des connecteurs¶

Le tableau de bord des connecteurs Openflow prend en charge les filtres suivants :

Event table

Tableau des événements des connecteurs Openflow que vous souhaitez surveiller. Ce filtre affiche les tableaux d’événements associés à au moins un déploiement Openflow, ainsi que le tableau d’événements par défaut et le tableau d’événements du compte. Vous ne pouvez sélectionner qu’un seul tableau d’événements à la fois. Les vues de tableau d’événements sont également prises en charge.

Le tableau des événements est défini lorsque vous avez configuré Openflow.

Astuce

Pour afficher le tableau des événements associé à un déploiement Openflow, utilisez la commande DESCRIBE OPENFLOW DATA PLANE INTEGRATION. Voir Configurer Openflow - Déploiement Snowflake ou Configuration d’Openflow - BYOC pour plus d’informations sur la configuration des tableaux d’événements.

Cadre temporel

Utilisez ce filtre pour identifier les connecteurs pertinents dans une période spécifique.

Astuce

Pour obtenir les résultats les plus récents concernant l’intégrité du connecteur, sélectionnez la période Last Hour.

Status

Active le filtrage pour les connecteurs Healthy,:ui:Unhealthy ou All.

Source

Permet de filtrer par le système source en fonction des connecteurs déployés connus. Le filtre n’affiche que les sources utilisées par vos connecteurs.

Deployment

Active le filtrage par déploiements Snowflake Openflow.

Ce filtre affiche les noms d’intégration de plan de données, qui sont composés du préfixe OPENFLOW_DATAPLANE_ suivi de l’ID du déploiement. Pour trouver l’ID du déploiement, accédez à Openflow, sélectionnez l’onglet Deployments, puis sélectionnez View Details.

Runtime

Active le filtrage par les environnements d’exécution Snowflake Openflow.

Ce filtre affiche les clés d’exécution. Pour faire correspondre les clés d’exécution avec les noms d’exécution Openflow dans l’UI, accédez à Openflow, sélectionnez l’onglet Runtimes, puis sélectionnez:ui:View Details et recherchez la clé correspondante.

Type

Active le filtrage par type de connecteur : Bases de données, SaaS, Streaming, Non structuré, Autre.

Changer les connecteurs de capture de données¶

La page de détails affiche les informations suivantes pour chaque table faisant partie de la configuration de la capture des données modifiées :

Table replication status

Les tables peuvent avoir l’état de réplication Active ou Failed. L’état de la réplication est basé sur l’événement de télémétrie le plus récent disponible pour la table. Les événements qui entraînent l’échec de la réplication d’une table génèrent immédiatement un état de réplication Failed dans le tableau de bord. Utilisez le message Failure Reason pour identifier le problème.

Error distribution

Vous aide à comprendre lorsque le connecteur a rencontré des problèmes, afin que vous puissiez identifier tout problème potentiel lié aux systèmes sources, à la configuration du connecteur ou à la destination Snowflake.

Table name

Affiche les noms des schémas et des tables configurées pour être répliquées par le connecteur. La liste correspond aux paramètres de configuration Included Table Names ou Included Table Regex du connecteur.

Replication status

Indique si chaque table a l’état de réplication Active ou Failed.

Replication phase

Affiche la phase de réplication de la table en cours. Après la configuration dans le connecteur, les tables entrent dans la New phase de réplication, passent à la phase Snapshot Load pour effectuer le chargement initial et entrent ensuite dans la phase Incremental Replication où les événements de capture de données modifiées sont traités.

Last Ingested

Affiche l’horodatage du dernier enregistrement inséré dans la table de destination au cours de la période sélectionnée. Lors de la consultation de cette métrique, tenez compte du court délai entre l’ingestion des enregistrements et l’enregistrement des événements, ainsi que leur disponibilité pour interrogation.

Vous pouvez utiliser les filtres Replication status, Replication phase et de période pour réduire la liste des tables.

Tous les connecteurs¶

Connector status

Affiche l’état de santé du connecteur : Healthy si aucun message d’erreur n’a été rencontré pendant la période sélectionnée, ou Unhealthy si des messages d’erreur ont été rencontrés.

Error distribution

Indique le nombre d’erreurs rencontrées par ce connecteur au cours de la période sélectionnée.

Average throughput

Mesure la vitesse à laquelle les données sont lues à partir des systèmes sources et ingérées dans Snowflake pour le connecteur sélectionné.

• La métrique Average throughput » Ingested mesure la vitesse à laquelle le connecteur sélectionné ingère les données dans Snowflake.

• La métrique Average throughput » Read mesure la vitesse à laquelle le connecteur sélectionné lit les données des systèmes sources.

Total data ingested

Indique la quantité de données que le connecteur sélectionné a ingérées dans Snowflake au cours de la période sélectionnée. Utilisez cette métrique pour identifier rapidement les anomalies d’ingestion sur une période donnée.

Flux personnalisés¶

Les flux personnalisés créés sur le canevas Openflow peuvent également être surveillés sur le tableau de bord, mais uniquement s’ils font l’objet d’un contrôle de version actif dans un dépôt Git client via l’intégration Git d’Openflow. Les flux qui ne font pas l’objet d’un contrôle de version n’apparaissent pas dans le tableau de bord.

Pour plus d’informations, voir Contrôle des versions pour les flux personnalisés.

Affichage des erreurs de connecteur¶

Pour afficher toutes les erreurs qu’un connecteur a rencontrées dans la période sélectionnée, accédez d’abord à la page de détails du connecteur en sélectionnant » View Details, puis sélectionnez l’onglet Issues.

Le titre de l’erreur vous indique le type d’erreur rencontré par le connecteur et le contenu fournit la trace complète de l’erreur.

Affichage des journaux du connecteur¶

Vous pouvez également consulter d’autres journaux du connecteur pour comprendre le contexte d’un message d’erreur. Pour afficher tous les journaux du connecteur sélectionné, sélectionnez » View logs.

Après avoir ouvert l’explorateur de journaux, vous pouvez également modifier les filtres pour afficher les journaux de différents connecteurs ou pour des environnements d’exécution ou des déploiements entiers. L’explorateur de journaux prend en charge des filtres spécifiques à Openflow comme l’ID de plan de données, la clé d’exécution et l’ID du groupe de processus.

Accès au canevas Openflow.¶

Lorsque vous identifiez un problème de connecteur, vous devez probablement accéder au canevas Openflow pour y remédier ; par exemple, ajustez certains paramètres de configuration ou passez à une version de connecteur plus récente.

Pour naviguer vers le connecteur sélectionné dans le canevas Openflow, sélectionnez » Go to canvas.

Sélectionner un entrepôt plus grand¶

Utilisez le sélecteur d’entrepôt dans la section supérieure à droite de l’écran pour choisir un autre entrepôt pour exécuter les requêtes.

Configurer le clustering sur le tableau des événements Openflow¶

En utilisant des clés de clustering, vous pouvez éviter une analyse inutile des micro-partitions lors des requêtes, accélérant ainsi considérablement les performances des requêtes faisant référence à ces colonnes. Pour plus d’informations, voir Qu’est-ce que le clustering de données ?.

Exécutez la requête suivante, en remplaçant les espaces réservés par votre tableau des événements Openflow :

ALTER TABLE <database>.<schema>.<event_table_name>
  CLUSTER BY (
    DATE_TRUNC('HOUR', timestamp),
    RECORD_TYPE,
    CAST(record_attributes:"metricNameHash" AS STRING)
  );

Réduire la période interrogée¶

La sélection d’une période plus petite dans le filtre analyse moins de données et conduit à des performances de requête plus rapides. Utilisez le filtre Last Hour pour obtenir les meilleures performances et la vue la plus récente de la santé et des performances de votre connecteur.