Allgemeine Informationen zu Openflow Connector for PostgreSQL¶
Bemerkung
Der Konnektor unterliegt den Bedingungen für Konnektoren.
Unter diesem Thema werden die grundlegenden Konzepte, der Workflow und die Beschränkungen von Openflow Connector for PostgreSQL beschrieben.
Openflow Connector for PostgreSQL verbindet eine PostgreSQL-Datenbankinstanz mit Snowflake und repliziert Daten aus ausgewählten Tabellen nahezu in Echtzeit oder nach Zeitplan. Der Konnektor erstellt außerdem ein Protokoll aller Datenänderungen, das zusammen mit dem aktuellen Status der replizierten Tabellen verfügbar ist.
Verwenden Sie diesen Konnektor, wenn Sie Folgendes tun möchten:
CDC-Replikation von PostgreSQL-Daten mit Snowflake für umfassende, zentralisierte Berichte
Workflow¶
Ein Datenbankadministrator konfiguriert PostgreSQL-Replikationseinstellungen und erstellt eine Veröffentlichung sowie Anmeldeinformationen für den Konnektor. Optional stellt er das SSL-Zertifikat bereit.
Ein Snowflake-Kontoadministrator führt folgende Aufgaben aus:
Erstellt einen Benutzer für den Konnketor, ein Warehouse für den Konnektor und eine Zieldatenbank, in die repliziert werden soll.
Installiert den Konnektor.
Gibt die erforderlichen Parameter für die Ablaufvorlage an.
Führt den Ablauf aus. Der Konnektor führt bei der Ausführung in Openflow die folgenden Aktionen aus:
Erstellt ein Schema für Journaltabellen.
Erstellt die Schemas und Zieltabellen, die mit den für die Replikation konfigurierten Quelltabellen übereinstimmen.
Startet die Replikation gemäß dem Lebenszyklus der Tabellenreplikation.
Der Lebenszyklus der Tabellenreplikation¶
Schema-Introspektion: Der Konnektor ermittelt die Spalten in der Quelltabelle, ihre Namen und Typen und validiert sie dann anhand der Beschränkungen von Snowflake und des Konnektors. Wenn die Validierung fehlschlägt, schlägt dieser Schritt fehl, und der Zyklus ist abgeschlossen. Nach erfolgreichem Abschluss der Schema-Introspektion erstellt der Konnektor eine leere Zieltabelle.
Laden des Snapshots: Der Konnektor kopiert alle in der Quelltabelle verfügbaren Daten in die Zieltabelle. Wenn dieser Schritt fehlschlägt, ist der Zyklus beendet und es werden keine weiteren Daten repliziert. Nach erfolgreichem Abschluss ist der gesamte Datensatz aus der Quelltabelle in der Zieltabelle verfügbar.
Inkrementelles Laden: Der Konnektor verfolgt die Änderungen in der Quelltabelle und kopiert sie in die Zieltabelle. Dies geschieht so lange, bis die Tabelle aus der Replikation entfernt wird. Bei einem Fehler in diesem Schritt wird die Replikation der Quelltabelle dauerhaft gestoppt, bis das Problem behoben ist.
Bemerkung
Vorübergehende Fehler, wie z. B. Verbindungsprobleme, unterbrechen die Replikation einer Tabelle nicht. Permanente Fehler, wie z. B. nicht unterstützte Datentypzuordnungen, hingegen stoppen die Replikation für die betroffene Tabelle, während andere konfigurierte Tabellen unverändert weiterlaufen. Sobald Sie das Problem mit der betroffenen Tabelle korrigiert haben, können Sie sie entfernen und dann wieder zur Replikation hinzufügen.
Unterstützte PostgreSQL-Versionen¶
Im Folgenden finden Sie die unterstützten PostgresSQL-Versionen.
11 |
12 |
13 |
14 |
15 |
16 |
17 |
|
|---|---|---|---|---|---|---|---|
Ja |
Ja |
Ja |
Ja |
Ja |
Ja |
Ja |
|
Ja |
Ja |
Ja |
Ja |
Ja |
Ja |
Ja |
|
Ja |
Ja |
Ja |
Ja |
Ja |
Ja |
||
Ja |
Ja |
Ja |
Ja |
Ja |
Ja |
||
Ja |
Ja |
Ja |
Ja |
Ja |
Ja |
Openflow-Anforderungen¶
Die Laufzeitgröße muss mindestens „Medium“ sein. Verwenden Sie eine größere Laufzeit, wenn Sie große Datenmengen replizieren, insbesondere wenn die Zeilen groß sind.
Der Konnektor unterstützt keine Openflow-Laufzeitumgebungen mit mehreren Knoten. Konfigurieren Sie die Laufzeit für diesen Konnektor, indem Sie Min nodes und Max nodes auf
1setzen.
Einschränkungen¶
Der Konnektor unterstützt PostgreSQL Version 11 oder höher.
Der Konnektor unterstützt nur die Authentifizierung mit Benutzername und Kennwort über PostgreSQL.
Der Konnektor unterstützt keine PostgreSQL-Read-Replica-Instanzen..
Der Konnektor unterstützt keine partitionierten Tabellen.
Der Konnektor repliziert keine Tabellen mit Daten, die die Typbeschränkungen von Snowflake überschreiten.
Der Konnektor repliziert keine Tabellen mit TOAST-Werten.
Der Konnektor verlangt, dass jede replizierte Tabelle einen Primärschlüssel hat und dass die Replikatidentität der Tabelle mit dem Primärschlüssel übereinstimmt.
Der Konnektor unterstützt Änderungen am Schema der Quelltabelle mit Ausnahme von Änderungen der Primärschlüsseldefinition, der Genauigkeit oder der Skalierung einer numerischen Spalte.
Bemerkung
Beschränkungen, die bestimmte Tabellenspalten betreffen, können umgangen werden, indem diese Spalten von der Replikation ausgeschlossen werden.