Verwalten von Openflow Connector for Amazon Kinesis Data Streams

Bemerkung

Dieser Connector unterliegt den `Nutzungsbedingungen für Snowflake Connector<https://www.snowflake.com/legal/snowflake-connector-terms/>`_.

Unter diesem Thema wird beschrieben, wie Sie den Openflow Connector for Amazon Kinesis Data Streams-Konnektor warten, einschließlich Verwaltung und Zurücksetzen des Konnektorstatus.

Verwalten des Konnektorstatus

der Konnektor Openflow Connector for Amazon Kinesis Data Streams verwendet DynamoDB, um den Anwendungsstatus des Verbrauchers zu speichern.

DynamoDB-Tabelle, die vom Konnektor erstellt wurde

Der Konnektor erstellt eineDynamoDB-Tabelle mit dem in AWS Kinesis Application Name angegebenen Namen. Die Tabelle speichert die Checkpoint-Sequenznummer für jeden Shard im Stream. Hier wird verfolgt, welche Datensätze verarbeitet wurden.

Wenn mehrere Prozessoren denselben Anwendungsnamen verwenden, arbeiten sie zusammen, um Daten aus dem Stream zu verbrauchen und diese Tabelle gemeinsam zu nutzen. Wenn Prozessoren unterschiedliche Anwendungsnamen haben, erstellt jeder seine eigene Tabelle, um verbrauchte Datensätze unabhängig zu verfolgen.

Zurücksetzen des Konnektorstatus

Wenn der Konnektorstatus in DynamoDB beschädigt oder inkonsistent ist, müssen Sie ihn möglicherweise zurücksetzen. Es gibt zwei Ansätze, um den Konnektorstatus zurückzusetzen.

Zurücksetzen durch Ändern des Anwendungsnamens

Der einfachste Weg, den Konnektorstatus zurückzusetzen, ist die Änderung des Parameters AWS Kinesis Application Name:

  1. Stoppen Sie den Konnektor.

  2. Navigieren Sie zum Parameterkontext des Konnektors.

  3. Ändern Sie den Parameterwert AWS Kinesis Application Name in einen neuen Wert.

  4. Starten Sie den Konnektor.

Der Konnektor erstellt eine neue DynamoDB-Tabelle mit dem neuen Anwendungsnamen und beginnt mit der Nutzung von Datensätzen ab der im Parameter für Anfängliche AWS-Kinesis-Stream-Position angegebenen Position.

Bemerkung

  • Wenn Sie den Anwendungsnamen ändern, löscht der Konnektor nicht die alte DynamoDB-Tabelle. Sie müssen diese manuell über die AWS-Konsole oder die AWS-CLI löschen.

  • Wenn Ihre IAM-Richtlinie den DynamoDB-Zugriff auf bestimmte Tabellennamen beschränkt, müssen Sie die Richtlinie aktualisieren, um den Zugriff auf den neuen Tabellennamen zuzulassen. Weitere Informationen zur Konfiguration von IAM-Berechtigungen finden Sie unter Set up Openflow Connector for Amazon Kinesis Data Streams.

Zurücksetzen durch Löschen der DynamoDB-Tabelle

Alternativ können Sie auch vorhandene DynamoDB-Tabellen löschen, um den Status zurückzusetzen:

  1. Stoppen Sie den Konnektor.

  2. Löschen Sie in der AWS-Konsole oder unter Verwendung der AWS-CLI die DynamoDB-Tabelle, die mit dem Anwendungsnamen verknüpft ist:

  3. Starten Sie den Konnektor.

Der Konnektor erstellt die Tabelle neu und beginnt mit der Nutzung von Datensätzen ab der durch den Parameter Anfängliche AWS-Kinesis-Stream-Position angegebenen Position.

Warnung

Wenn Sie den Status des Konnektors zurücksetzen, verarbeitet der Konnektor Datensätze von der Position, die durch die anfängliche Stream-Position angegeben ist, erneut. Abhängig von Ihrer Einstellung für anfängliche AWS-Kinesis-Stream-Position kann dies dazu führen, dass Daten doppelt in Snowflake aufgenommen werden oder dass Daten gar nicht aufgenommen werden.