Openflow Connector for PostgreSQL-Verwaltung¶

Replikation der Tabellen neu starten¶

Eine Tabelle in FAILED-Status – z. B. aufgrund eines fehlenden Primärschlüssels oder einer nicht unterstützten Schemaänderung – wird nicht automatisch neu gestartet. Wenn eine Tabelle in einen FAILED-Status übergeht oder Sie die Replikation von Grund auf neu starten müssen, gehen Sie wie folgt vor, um die Tabelle zu entfernen und zur Replikation erneut hinzuzufügen.

1. Entfernen Sie die Tabelle mit einer der folgenden Methoden aus der Replikation:

   • Fügen Sie die Tabelle zum Parameter Re-snapshot Table Exclusions hinzu, um ihn vorübergehend von der Replikation auszuschließen. Dies ist praktisch, wenn die Tabelle mit einem Included Table Regex übereinstimmt, den Sie nicht ändern möchten.

   • Entfernen Sie im Kontext des Datenaufnahmeparameters entweder die Tabelle aus Included Table Names oder ändern Sie Included Table Regex so, dass die Tabelle nicht mehr übereinstimmt.

2. Überprüfen, ob die Tabelle entfernt wurde:

   1. Klicken Sie in der Openflow-Laufzeitoberfläche mit der rechten Maustaste auf eine Prozessorgruppe, und wählen Sie Controller Services.

   2. Suchen Sie in der Tabelle mit den Controllerdiensten die Zeile Table State Store, klicken Sie auf die drei vertikalen Punkte rechts von der Zeile, und wählen Sie dann View State aus.

   Wichtig

   Sie müssen warten, bis der Status der Tabelle vollständig aus dieser Liste entfernt wurde, bevor Sie fortfahren können. Fahren Sie nicht fort, bis diese Konfigurationsänderung abgeschlossen ist.

3. Ziel bereinigen: Sobald der Status der Tabelle als „vollständig entfernt“ angezeigt wird, DROP Sie die Zieltabelle manuell in Snowflake. Beachten Sie, dass der Konnektor während der Snapshot-Phase keine vorhandene Zieltabelle überschreibt. Wenn die Tabelle noch existiert, schlägt die Replikation erneut fehl. Optional können die Journaltabelle und der Stream auch entfernt werden, wenn sie nicht mehr benötigt werden.

4. Fügen Sie die Tabelle erneut hinzu, indem Sie die im ersten Schritt vorgenommene Änderung rückgängig machen: Entfernen Sie die Tabelle entweder aus Re-snapshot Table Exclusions oder fügen Sie sie wieder zu Included Table Names oder Included Table Regex hinzu. Der Konnektor erstellt dann einen neuen Snapshot der Tabelle.

5. Neustart überprüfen: Überprüfen Sie den Table State Store unter Verwendung der zuvor angegebenen Anweisungen. Der Status der Tabelle sollte mit dem Status NEW angezeigt werden, dann in SNAPSHOT_REPLICATION übergehen und schließlich in INCREMENTAL_REPLICATION.

Upgrade von PostgreSQL¶

Das Aktualisieren des Konnektors erfordert jeweils einen anderen Ansatz, je nachdem, ob PostgreSQL auf die nächste Neben- oder Hauptversion aktualisiert wird.

Upgrades auf eine Nebenversion

• Sind datensicher.

• Erfordern keine Sonderbehandlung.

• Erfordern, dass der Konnektor für die Dauer des Upgrades angehalten wird, um zu vermeiden, dass Konnektivitätsprobleme gemeldet werden.

• Setzen die Replikation nach dem Upgrade ohne Datenverlust fort.

Upgrades auf eine Hauptversion

• Erfordern, dass der PostgreSQL-Server Replikations-Slots löscht, einschließlich aller vom Konnektor verwendeten.

• Können keine Replikations-Slots beibehalten oder auf die neue Version migrieren. Siehe auch Upgrades auf PostgresSQL Version 17 und höher.

• Starten Sie die Replikation aller Tabellen aus der vorherigen Snapshot-Phase neu.

Um ein Upgrade auf eine Nebenversion durchzuführen, gehen Sie wie folgt vor:

1. Stoppen Sie den Konnektor, einschließlich aller Prozessoren und Controller-Dienste.

2. Führen Sie ein Upgrade von PostgreSQL durch.

3. Starten Sie den Konnektor neu.

Um ein Upgrade auf eine Hauptversion durchzuführen, gehen Sie wie folgt vor:

1. Entfernen Sie im Konnektor alle Tabellen aus der Replikation.

2. Warten Sie, bis alle Warteschlangen im Konnektor leer sind.

3. Stoppen Sie den Konnektor, einschließlich aller Prozessoren und Controller-Dienste.

4. Öffnen Sie die Gruppe Incremental Load im Konnektor.

5. Klicken Sie mit der rechten Maustaste auf den obersten Prozessor in der Gruppe, Read PostgreSQL CDC Stream, und wählen Sie View state aus.

6. Klicken Sie auf Clear state.

7. Klicken Sie auf Close.

8. Führen Sie ein Upgrade von PostgreSQL durch.

9. Starten Sie den Konnektor neu. Es wird ein neuer Replikations-Slot erstellt.

10. Fügen Sie alle Tabellen erneut hinzu, um die Replikation zu starten.

Konnektor erneut installieren¶

In diesem Abschnitt wird beschrieben, wie Sie den Konnektor erneut installieren. Dies deckt Situationen ab, in denen der neue Konnektor in derselben Laufzeitumgebung installiert wird oder wenn er in eine neue Laufzeitumgebung verschoben wird. Die Neuinstallation wird häufig in Verbindung mit Inkrementeller Replikation mit Snapshots verwendet.