Überwachen von Konnektoren mit dem Openflow Connectors-Dashboard¶

Filtern von Konnektoren¶

Das Openflow Connectors-Dashboard unterstützt die folgenden Filter:

Event table

Die Ereignistabelle des Openflow-Konnektors, die Sie überwachen möchten. Dieser Filter zeigt Ereignistabellen an, die mit mindestens einer Openflow-Bereitstellung verbunden sind, sowie die Standard-Ereignistabelle und die Konto-Ereignistabelle. Sie können immer nur eine Ereignistabelle auswählen. Ansichten von Ereignistabellen werden ebenfalls unterstützt.

Die Ereignistabelle wird festgelegt, wenn Sie Openflow einrichten.

Tipp

Um die mit einer Openflow-Bereitstellung verbundene Ereignistabelle anzuzeigen, verwenden Sie den Befehl DESCRIBE OPENFLOW DATA PLANE INTEGRATION. Weitere Informationen zum Konfigurieren von Ereignistabellen finden Sie unter Openflow – Snowflake-Bereitstellungen einrichten or Openflow einrichten – BYOC

Zeitrahmen

Verwenden Sie diesen Filter, um relevante Konnektoren in einem bestimmten Zeitrahmen zu identifizieren.

Tipp

Um die aktuellsten Ergebnisse über die Integrität des Konnektors zu erhalten, wählen Sie den Zeitrahmen Last Hour aus.

Status

Ermöglicht das Filtern nach Konnektoren mit dem Status Healthy, Unhealthy oder All.

Source

Ermöglicht das Filtern nach dem Quellsystem auf der Grundlage bekannter bereitgestellter Konnektoren. Der Filter zeigt nur Quellen an, die von Ihren Konnektoren verwendet werden.

Deployment

Ermöglicht das Filtern nach Snowflake Openflow-Bereitstellungen.

Dieser Filter zeigt Namen von Data Plane-Integrationen an, die aus dem Präfix OPENFLOW_DATAPLANE_ gefolgt von der Bereitstellungs-ID bestehen. Um die Bereitstellungs-ID zu ermitteln, navigieren Sie zu Openflow, wählen Sie die Registerkarte Deployments und dann Option View Details aus.

Runtime

Ermöglicht das Filtern nach Snowflake Openflow-Laufzeiten.

Dieser Filter zeigt die Laufzeitschlüssel an. Um Laufzeitschlüssel mit Openflow-Laufzeitnamen in der UI abzugleichen, navigieren Sie zu Openflow, wählen Sie die Registerkarte Runtimes und anschließend die Option:ui:View Details aus. Suchen Sie dann den zugehörigen Schlüssel.

Type

Ermöglicht das Filtern nach Konnektortyp: Datenbanken, SaaS, Streaming, Unstrukturiert, Sonstige.

Ändern der Change Data Capture-Konnektoren¶

Auf der Detailseite werden die folgenden Informationen für jede Tabelle angezeigt, die Teil der Change Data Capture-Konfiguration ist:

Table replication status

Tabellen können sich entweder im Replikationsstatus Active oder:ui:Failed befinden. Der Replikationsstatus basiert auf dem letzten Telemetrieereignis, das für die Tabelle verfügbar ist. Ereignisse, die dazu führen, dass die Replikation für eine Tabelle fehlschlägt, führen sofort zum Replikationsstatus Failed im Dashboard. Nutzen Sie die Nachricht Failure Reason, um das Problem zu identifizieren.

Error distribution

Hilft Ihnen zu verstehen, wann für den Konnektor Probleme aufgetreten sind, sodass Sie potenzielle Probleme mit Quellsystemen, der Konnektor-Konfiguration oder dem Snowflake-Ziel erkennen können.

Table name

Zeigt das Schema und die Tabellennamen für alle Tabellen an, die für eine Replikation durch den Konnektor konfiguriert sind. Die Liste stimmt mit den Konfigurationsparametern Included Table Names oder Included Table Regex des Konnektors überein.

Replication status

Zeigt an, ob sich eine Tabelle im Replikationsstatus Active oder Failed befindet.

Replication phase

Zeigt die aktuelle Phase der Tabellenreplikation an. Nach der Konfiguration im Konnektor wechseln die Tabellen in die Replikationsphase New, gehen in die Phase Snapshot Load über, führen das erstmalige Laden durch und wechseln schließlich in die Phase Incremental Replication, in der einzelne Change Data Capture-Ereignisse verarbeitet werden.

Last Ingested

Zeigt den Zeitstempel des letzten Datensatzes an, der während des ausgewählten Zeitraums in die Zieltabelle eingefügt wurde. Berücksichtigen Sie bei der Berechnung dieser Metrik eine kurze Verzögerung zwischen den erfassten Datensätzen und den Ereignissen, die protokolliert werden und für Abfragen zur Verfügung stehen.

Sie können die Replication status, Replication phase und Zeitrahmenfilter zum Eingrenzen der Tabellenliste verwenden.

Alle Konnektoren¶

Connector status

Zeigt den Integritätsstatus des Konnektors an: Healthy, wenn während des ausgewählten Zeitraums keine Fehlermeldungen aufgetreten sind, oder:ui:Unhealthy, wenn Fehlermeldungen aufgetreten sind.

Error distribution

Zeigt an, wie viele Fehler bei diesem Konnektor im ausgewählten Zeitraum aufgetreten sind.

Average throughput

Misst die Rate, mit der Daten für den ausgewählten Konnektor aus den Quellsystemen gelesen und in Snowflake aufgenommen werden.

• Die Metrik Average throughput » Ingested misst, wie schnell der ausgewählte Konnektor Daten in Snowflake aufnimmt.

• Die Metrik Average throughput » Read misst, wie schnell der ausgewählte Konnektor Daten aus Quellsystemen liest.

Total data ingested

Zeigt an, wie viele Daten der ausgewählte Konnektor im ausgewählten Zeitraum in Snowflake aufgenommen hat. Verwenden Sie diese Metrik, um schnell Anomalien bei der Datenaufnahme über einen bestimmten Zeitraum zu erkennen.

Kundenspezifische Abläufe¶

Kundenspezifische Abläufe, die in der Openflow-Arbeitsoberfläche erstellt wurden, können auch über das Dashboard überwacht werden, jedoch nur, wenn sie in einem Git-Repository eines Kunden mithilfe der Openflow-Git-Integration aktiv versioniert werden. Abläufe, die nicht versionskontrolliert sind, werden nicht im Dashboard angezeigt.

Weitere Informationen dazu finden Sie unter Versionskontrolle für kundenspezifische Abläufe.

Anzeigen der Konnektorfehler¶

Um alle Fehler anzuzeigen, die ein Konnektor im ausgewählten Zeitraum aufgetreten ist, navigieren Sie zunächst zur Seite mit den Konnektordetails, indem Sie » View Details und dann die Registerkarte Issues auswählen.

Die Fehlerüberschrift teilt Ihnen mit, auf welchen Typ von Fehler der Konnektor gestoßen ist, und der Inhalt liefert die gesamte Stapelüberwachung des Fehlers.

Anzeigen der Konnektor-Protokolle¶

Möglicherweise sollten Sie sich auch zusätzliche Konnektorprotokolle ansehen, um den Kontext einer Fehlermeldung zu verstehen. Um alle Protokolle für den ausgewählten Konnektor anzuzeigen, wählen Sie » View logs aus.

Nach dem Öffnen des Protokoll-Explorers können Sie auch die Filter ändern, um Protokolle für verschiedene Konnektoren oder für ganze Laufzeiten oder Bereitstellungen anzuzeigen. Der Protokoll-Explorer unterstützt Openflow-spezifische Filter wie die Data Plane-ID, den Laufzeitschlüssel und die Prozessgruppen-ID.

Zugriff auf die Openflow-Arbeitsoberfläche¶

Wenn Sie ein Problem mit dem Konnektor feststellen, müssen Sie wahrscheinlich zur Openflow-Arbeitsoberfläche navigieren, um das Problem zu beheben. Passen Sie z. B. einige Konfigurationsparameter an oder aktualisieren Sie auf eine neuere Version des Konnektors.

Um zum ausgewählten Konnektor in der Openflow-Arbeitsoberfläche zu navigieren, wählen Sie » Go to canvas aus.

Auswahl eines größeren Warehouses¶

Verwenden Sie die Warehouse-Auswahl oben rechts auf dem Bildschirm, um ein anderes Warehouse für die Ausführung der Abfragen auszuwählen.

Einrichten von Clustering für die Openflow-Ereignistabelle¶

Durch die Verwendung von Gruppierungsschlüsseln können Sie bei Abfragen unnötiges Scannen von Mikropartitionen vermeiden und dadurch die Leistung von Abfragen, die auf diese Spalten verweisen, erheblich beschleunigen. Weitere Informationen dazu finden Sie unter Was ist Daten-Clustering?.

Führen Sie die folgende Abfrage aus und ersetzen Sie die Platzhalter durch Ihre Openflow-Ereignistabelle:

ALTER TABLE <database>.<schema>.<event_table_name>
  CLUSTER BY (
    DATE_TRUNC('HOUR', timestamp),
    RECORD_TYPE,
    CAST(record_attributes:"metricNameHash" AS STRING)
  );

Verkürzen des abgefragten Zeitrahmens¶

Die Auswahl eines kleineren Zeitrahmens im Filter führt dazu, dass weniger Daten gescannt werden, was zu einer schnelleren Abfrageleistung führt. Verwenden Sie den Filter Last Hour, um die beste Leistung zu erzielen und einen aktuellen Überblick über den Zustand und die Leistung Ihrer Konnektoren zu erhalten.