Verwalten von Openflow Connector for Kinesis

Bemerkung

Dieser Connector unterliegt den `Nutzungsbedingungen für Snowflake Connector<https://www.snowflake.com/legal/snowflake-connector-terms/>`_.

Unter diesem Thema wird beschrieben, wie Sie den Openflow Connector for Kinesis-Konnektor warten, einschließlich Verwaltung und Zurücksetzen des Konnektorstatus.

Verwalten des Konnektorstatus

Openflow Connector for Kinesis verwendet DynamoDB, um den Anwendungsstatus des Verbrauchers zu speichern.

DynamoDB-Tabellen, die vom Konnektor erstellt wurden

Für jeden im Konnektor konfigurierten Kinesis-Anwendungsnamen erstellt die KCL drei DynamoDB-Tabellen:

<Kinesis Application Name>

Speichert die Checkpoint-Sequenznummer für jedes Shard im Stream. Diese verfolgt, welche Datensätze verarbeitet wurden.

<Kinesis Application Name>-CoordinatorState

Wird zur Koordination zwischen Workern verwendet, wenn mehrere Prozessoren denselben Anwendungsnamen verwenden.

<Kinesis Application Name>-WorkerMetricStats

Wird von Workern verwendet, um Kennzahlen zu berichten, die während der Arbeitszuweisung verwendet werden.

In diesen Tabellennamen ist <Kinesis Application Name> der Wert, der beim Einrichten des Konnektors angegeben wurde.

Wenn mehrere Prozessoren denselben Anwendungsnamen verwenden, arbeiten sie zusammen, um Daten aus dem Stream zu verbrauchen und diese Tabellen gemeinsam zu nutzen. Wenn Prozessoren unterschiedliche Anwendungsnamen haben, erstellt jeder seine eigenen Tabellen, um verbrauchte Datensätze unabhängig zu verfolgen.

Weitere Informationen zu DynamoDB-Tabellen finden Sie in der AWS-Dokumentation zur Kinesis Client Library.

Zurücksetzen des Konnektorstatus

Wenn der Konnektorstatus in DynamoDB beschädigt oder inkonsistent ist, müssen Sie ihn möglicherweise zurücksetzen. Es gibt zwei Ansätze, um den Konnektorstatus zurückzusetzen.

Zurücksetzen durch Ändern des Anwendungsnamens

Der einfachste Weg, den Konnektorstatus zurückzusetzen, ist die Änderung des Parameters Kinesis Application Name:

  1. Stoppen Sie den Konnektor.

  2. Navigieren Sie zum Parameterkontext des Konnektors.

  3. Ändern Sie den Parameterwert Kinesis Application Name in einen neuen Wert.

  4. Starten Sie den Konnektor.

Der Konnektor erstellt neue DynamoDB-Tabellen mit dem neuen Anwendungsnamen und beginnt mit der Nutzung von Datensätzen ab der im Parameter für Anfängliche Kinesis-Stream-Position angegebenen Position.

Bemerkung

Wenn Ihre IAM-Richtlinie den DynamoDB-Zugriff auf bestimmte Tabellennamen beschränkt, müssen Sie die Richtlinie aktualisieren, um den Zugriff auf die neuen Tabellennamen zuzulassen. Weitere Informationen zur Konfiguration von IAM-Berechtigungen finden Sie unter Einrichten von Openflow Connector for Kinesis für JSON-Datenformat.

Zurücksetzen durch Löschen der DynamoDB-Tabellen

Alternativ können Sie auch vorhandene DynamoDB-Tabellen löschen, um den Status zurückzusetzen:

  1. Stoppen Sie den Konnektor.

  2. Löschen Sie in der AWS-Konsole oder unter Verwendung der AWS CLI die drei DynamoDB-Tabellen, die mit dem Anwendungsnamen verbunden sind:

    • <Kinesis Application Name>

    • <Kinesis Application Name>-CoordinatorState

    • <Kinesis Application Name>-WorkerMetricStats

  3. Starten Sie den Konnektor.

Der Konnektor erstellt die Tabellen neu und beginnt mit der Nutzung von Datensätzen ab der durch den Parameter Anfängliche Kinesis-Stream-Position angegebenen Position.

Warnung

Wenn Sie den Status des Konnektors zurücksetzen, verarbeitet der Konnektor Datensätze von der Position, die durch die anfängliche Stream-Position angegeben ist, erneut. Abhängig von Ihrer Einstellung für anfängliche Kinesis-Stream-Position kann dies dazu führen, dass Daten doppelt in Snowflake aufgenommen werden oder dass Daten gar nicht aufgenommen werden.