Gérer Openflow Connector for Amazon Kinesis Data Streams

Note

Ce connecteur est soumis aux conditions d’utilisation de Snowflake Connector.

Ce chapitre décrit comment gérer le connecteur Openflow Connector for Amazon Kinesis Data Streams, y compris comment gérer et réinitialiser l’état du connecteur.

Gérer l’état du connecteur

Le connecteur Openflow Connector for Amazon Kinesis Data Streams utilise DynamoDB pour stocker l’état de l’application consommateur.

Table DynamoDB créée par le connecteur

Le connecteur crée une table DynamoDB portant le nom spécifié dans AWS Kinesis Application Name. La table stocke le numéro de séquence de point de contrôle pour chaque fragment du flux. Cela permet de savoir quels enregistrements ont été traités.

Si plusieurs processeurs utilisent le même nom d’application, ils agissent de la même manière, pour consommer les données du flux et partager cette table. Si les processeurs ont des noms d’application différents, chacun crée sa propre table pour suivre indépendamment les enregistrements consommés.

Réinitialiser l’état du connecteur

Si l’état du connecteur dans DynamoDB est corrompu ou incohérent, vous devrez peut-être le réinitialiser. Il existe deux façons de réinitialiser l’état du connecteur.

Réinitialiser en modifiant le nom de l’application

La façon la plus simple de réinitialiser l’état du connecteur est de modifier le paramètre du nom de l’application Kinesis AWS :

  1. Arrêtez le connecteur.

  2. Accédez au contexte des paramètres du connecteur.

  3. Modifiez la valeur du paramètre AWS Kinesis Application Name à une nouvelle valeur.

  4. Importez le connecteur

Le connecteur crée une nouvelle table DynamoDB avec le nouveau nom d’application et commence à consommer des enregistrements à partir de la position spécifiée par le paramètre Position initiale du flux Kinesis AWS.

Note

  • Lorsque vous modifiez le nom de l’application, le connecteur ne supprime pas l’ancienne table DynamoDB. Vous devez la supprimer manuellement via la console AWS ou la CLI AWS.

  • Si votre politique IAM restreint l’accès DynamoDB à un nom de table spécifique, vous devez mettre à jour la politique pour permettre l’accès au nouveau nom de table. Pour plus d’informations sur la configuration des autorisations IAM, voir Configuration des Openflow Connector for Amazon Kinesis Data Streams.

Réinitialiser en supprimant la table DynamoDB

Vous pouvez également supprimer la table DynamoDB existante pour réinitialiser l’état :

  1. Arrêtez le connecteur.

  2. Dans la console AWS ou en utilisant la CLI AWS, supprimez la table DynamoDB associée au nom de l’application.

  3. Importez le connecteur

Le connecteur recrée les tables et commence à consommer des enregistrements à partir de la position spécifiée par le paramètre de position initiale du flux Kinesis AWS.

Avertissement

La réinitialisation de l’état du connecteur entraîne le retraitement des enregistrements par le connecteur à partir de la position spécifiée par la position initiale du flux. En fonction du paramètre de position initiale du flux Kinesis AWS, il peut en résulter l’ingestion de données en double dans Snowflake ou l’échec de l’ingestion de données.