Allgemeine Informationen zu Openflow Connector for MySQL

Bemerkung

Der Konnektor unterliegt den Bedingungen für Konnektoren.

Unter diesem Thema werden die grundlegenden Konzepte, der Workflow und die Beschränkungen von Openflow Connector for MySQL beschrieben.

Openflow Connector for MySQL verbindet eine MySQL-Datenbankinstanz mit Snowflake und repliziert Daten aus ausgewählten Tabellen nahezu in Echtzeit oder nach einem festgelegten Zeitplan. Der Konnektor erstellt außerdem ein Protokoll aller Datenänderungen, das zusammen mit dem aktuellen Status der replizierten Tabellen verfügbar ist.

Verwenden Sie diesen Konnektor, wenn Sie Folgendes tun möchten:

  • CDC-Replikation von MySQL-Tabellen in Snowflake für umfassende, zentralisierte Berichte

Replizieren von Tabellen

Die Tabellen werden in den folgenden Schritten repliziert:

  1. Schema-Introspektion: Der Konnektor ermittelt die Spalten in der Quelltabelle, einschließlich der Spaltennamen und -typen, und validiert sie dann anhand der Beschränkungen für Snowflake und den Konnektor. Wenn die Validierung fehlschlägt, schlägt dieser Schritt fehl, und der Zyklus ist abgeschlossen. Nach erfolgreichem Abschluss dieses Schrittes erstellt der Konnektor eine leere Zieltabelle.

  2. Laden des Snapshots: Der Konnektor kopiert alle in der Quelltabelle verfügbaren Daten in die Zieltabelle. Wenn dieser Schritt fehlschlägt, werden keine weiteren Daten repliziert. Nach erfolgreichem Abschluss sind die Daten aus der Quelltabelle in der Zieltabelle verfügbar.

  3. Inkrementelles Laden: Der Konnektor verfolgt Änderungen in der Quelltabelle und wendet diese Änderungen auf die Zieltabelle an. Dieser Vorgang wird fortgesetzt, bis die Tabelle aus der Replikation entfernt wird. Bei einem Fehler in diesem Schritt wird die Replikation der Quelltabelle dauerhaft gestoppt, bis das Problem behoben ist.

Bemerkung

Vorübergehende Fehler (wie z. B. Verbindungsfehler) verhindern nicht, dass die Tabelle repliziert wird. Permanente Fehler (wie nicht unterstützte Datentypen) verhindern jedoch, dass die Tabelle repliziert wird.

Wenn ein permanenter Fehler verhindert, dass eine Tabelle repliziert wird, entfernen Sie die Tabelle aus der Liste der zu replizierenden Tabellen. Nachdem Sie das Problem, das den Fehler verursacht hat, behoben haben, können Sie die Tabelle wieder in die Liste der zu replizierenden Tabellen aufnehmen.

Workflow

  1. Ein MySQL Datenbankadministrator führt die folgenden Aufgaben aus:

    • Konfiguriert die MySQL-Replikationseinstellungen.

    • Erstellt die Anmeldeinformationen für den Konnektor.

    • (Optional) Stellt das SSL-Zertifikat bereit.

  2. Ein Snowflake-Kontoadministrator führt folgende Aufgaben aus:

    1. Erstellt einen Dienstbenutzer für den Konnektor, ein Warehouse für den Konnektor und eine Zieldatenbank für die replizierten Daten.

    2. Installiert den Konnektor.

    3. Gibt die erforderlichen Parameter für die Ablaufvorlage an.

    4. Führt den Ablauf aus. Der Konnektor führt bei der Ausführung in Openflow die folgenden Aktionen aus:

      1. Erstellt ein Schema für Journaltabellen.

      2. Erstellt die Schemas und Zieltabellen, die mit den für die Replikation konfigurierten Quelltabellen übereinstimmen.

      3. Startet die Replikation der Tabellen. Weitere Informationen zum Replikationsprozess finden Sie unter Replikation von Tabellen.

Unterstützte MySQL-Versionen

In der folgenden Tabelle finden Sie die getesteten und offiziell unterstützten MySQL-Versionen.

8,0

8,4

Standard

Ja

Ja

AWS RDS

Ja

Amazon Aurora

Ja, als Version 3

GCP Cloud SQL

Ja

Ja

Azure Database

Nein

Openflow-Anforderungen

  • Die Laufzeitgröße muss mindestens „Medium“ sein. Verwenden Sie eine größere Laufzeit, wenn Sie große Datenmengen replizieren, insbesondere wenn die Zeilen groß sind.

  • Der Konnektor unterstützt keine Openflow-Laufzeitumgebungen mit mehreren Knoten. Konfigurieren Sie die Laufzeit für diesen Konnektor, indem Sie Min nodes und Max nodes auf 1 setzen.

Einschränkungen

  • Der Konnektor unterstützt MySQL-Version 8 oder höher.

  • Der Konnektor unterstützt nur die Authentifizierung mit Benutzername und Kennwort über MySQL.

  • Der Konnektor repliziert keine Tabellen mit Daten, die die Typbeschränkungen von Snowflake überschreiten.

  • Der Konnektor repliziert keine Spalten der Typen GEOMETRY, GEOMETRYCOLLECTION, LINESTRING, MULTILINESTRING, MULTIPOINT, MULTIPOLYGON, POINT und POLYGON.

  • Der Konnektor unterlegt Group-Replication-Beschränkungen von MySQL. Das bedeutet, dass eine einzelne Transaktion in eine binäre Protokollmeldung mit einer Größe von maximal 4 GB passen muss.

  • Der Konnektor erfordert, dass jede replizierte Tabelle einen Primärschlüssel hat.

  • Der Konnektor unterstützt Änderungen am Schema der Quelltabelle mit Ausnahme der Änderung von Primärschlüsseldefinitionen und der Änderung der Genauigkeit oder Skalierung einer numerischen Spalte.

Bemerkung

Beschränkungen, die bestimmte Tabellenspalten betreffen, können umgangen werden, indem diese Spalten von der Replikation ausgeschlossen werden.

Nächste Schritte

Einrichten von Openflow Connector for MySQL

Sprache: Deutsch