Maintenance Openflow Connector for PostgreSQL¶

Redémarrer la réplication de table¶

Une table à l’état FAILED, par exemple, en raison d’une clé primaire manquante ou d’un changement de schéma non pris en charge, ne redémarre pas automatiquement. Si une table passe à l’état FAILED ou si vous devez redémarrer la réplication à partir de zéro, utilisez la procédure suivante pour supprimer et ajouter à nouveau la table à la réplication.

1. Supprimez la table de la réplication à l’aide de l’une des méthodes suivantes :

   • Ajouter la table au paramètre Re-snapshot Table Exclusions pour l’exclure temporairement de la réplication. Ceci est pratique lorsque la table correspond à un Included Table Regex que vous ne voulez pas modifier.

   • Dans le contexte Paramètres d’ingestion, supprimez la table dans Included Table Names ou modifiez le Included Table Regex de sorte que la table n’a plus aucune correspondance.

2. Vérifiez que la table a été supprimée :

   1. Dans le canevas de l’environnement d’exécution Openflow, cliquez avec le bouton droit de la souris sur un groupe de processeurs et choisissez Controller Services.

   2. Dans la table répertoriant les services du contrôleur, recherchez la ligne Table State Store, cliquez sur les trois points verticaux sur le côté droit de la ligne, puis choisissez View State.

   Important

   Vous devez attendre que l’état de la table soit entièrement supprimé de cette liste avant de poursuivre. Ne continuez pas tant que cette modification de la configuration n’est pas terminée.

3. Nettoyez la destination. Une fois que l’état de la table indique qu’elle est entièrement supprimés, DROP manuellement la table de destination dans Snowflake. Notez que le connecteur ne remplacera pas une table de destination existante pendant la phase de l’instantané. Si la table existe toujours, la réplication échouera à nouveau. En option, la table et le flux de journal peuvent également être supprimés s’ils ne sont plus nécessaires.

4. Ajoutez à nouveau la table en annulant la modification que vous avez apportée à la première étape : soit supprimez la table de Re-snapshot Table Exclusions, ou rajoutez-la à Included Table Names ou Included Table Regex. Le connecteur effectue ensuite un nouvel instantané de la table.

5. Vérifiez le redémarrage. Vérifiez le Table State Store en utilisant les instructions données précédemment. L’état de la table doit apparaître avec le statut NEW, puis SNAPSHOT_REPLICATION et pour finir INCREMENTAL_REPLICATION.

Mise à à niveau de PostgreSQL¶

La mise à niveau du connecteur nécessite une approche différente selon que PostgreSQL est en train de passer à la version mineure ou majeure suivante.

Mises à niveau de la version mineure

• Sont des données sûres.

• Aucun traitement particulier n’est requis.

• Demandez d’arrêter le connecteur pendant la durée de la mise à niveau afin d’éviter de signaler des problèmes de connexion.

• Continuez la réplication, après la mise à niveau, sans perte de données.

Mises à niveau de la version majeure

• Demandez au serveur PostgreSQL de supprimer les emplacements de réplication, y compris ceux utilisés par le connecteur.

• Impossible de conserver ou de migrer les emplacements de réplication vers la nouvelle version. Voir aussi Mises à niveau des versions PostgresSQL 17 et ultérieures.

• Redémarrez la réplication de toutes les tables de la phase instantané précédente.

Pour effectuer une mise à niveau de version mineure, procédez comme suit :

1. Arrêtez le connecteur, y compris tous les processeurs et les services de contrôleur.

2. Mettez PostgreSQL à niveau.

3. Redémarrez le connecteur.

Pour effectuer une mise à niveau de version majeure, procédez comme suit :

1. Supprimez toutes les tables de la réplication dans le connecteur.

2. Attendez que toutes les files d’attente du connecteur soient vides.

3. Arrêtez le connecteur, y compris tous les processeurs et les services de contrôleur.

4. Ouvrez le groupe Incremental Load dans le connecteur.

5. Faites un clic droit sur le processeur supérieur du groupe, Read PostgreSQL CDC Stream, et sélectionnez View state.

6. Cliquez sur Clear state.

7. Cliquez sur Close.

8. Mettez PostgreSQL à niveau.

9. Redémarrez le connecteur. Un nouvel emplacement de réplication sera créé.

10. Ajoutez de nouveau toutes les tables pour commencer la réplication.

Réinstaller le connecteur¶

Cette section explique comment réinstaller le connecteur. Elle couvre les situations dans lesquelles le nouveau connecteur est installé dans le même environnement d’exécution ou lorsqu’il est déplacé vers un nouvel environnement d’exécution. La réinstallation est souvent utilisée en conjonction avec Réplication incrémentielle avec instantanés.