Allgemeine Informationen zu Openflow Connector for MySQL

Bemerkung

Dieser Connector unterliegt den `Nutzungsbedingungen für Snowflake Connector<https://www.snowflake.com/legal/snowflake-connector-terms/>`_.

Unter diesem Thema werden die grundlegenden Konzepte, der Workflow und die Beschränkungen von Openflow Connector for MySQL beschrieben.

Openflow Connector for MySQL verbindet eine MySQL-Datenbankinstanz mit Snowflake und repliziert Daten aus ausgewählten Tabellen nahezu in Echtzeit oder nach einem festgelegten Zeitplan. Der Konnektor erstellt außerdem ein Protokoll aller Datenänderungen, das zusammen mit dem aktuellen Status der replizierten Tabellen verfügbar ist.

Verwenden Sie diesen Konnektor, wenn Sie Folgendes tun möchten:

  • CDC-Replikation von MySQL-Tabellen in Snowflake für umfassende, zentralisierte Berichte

Replizieren von Tabellen

Die Tabellen werden in den folgenden Schritten repliziert:

  1. Schema-Introspektion: Der Konnektor ermittelt die Spalten in der Quelltabelle, einschließlich der Spaltennamen und -typen, und validiert sie dann anhand der Beschränkungen für Snowflake und den Konnektor. Wenn die Validierung fehlschlägt, schlägt dieser Schritt fehl, und der Zyklus ist abgeschlossen. Nach erfolgreichem Abschluss dieses Schrittes erstellt der Konnektor eine leere Zieltabelle.

  2. Laden des Snapshots: Der Konnektor kopiert alle in der Quelltabelle verfügbaren Daten in die Zieltabelle. Wenn dieser Schritt fehlschlägt, werden keine weiteren Daten repliziert. Nach erfolgreichem Abschluss sind die Daten aus der Quelltabelle in der Zieltabelle verfügbar.

  3. Inkrementelles Laden: Der Konnektor verfolgt Änderungen in der Quelltabelle und wendet diese Änderungen auf die Zieltabelle an. Dieser Vorgang wird fortgesetzt, bis die Tabelle aus der Replikation entfernt wird. Bei einem Fehler in diesem Schritt wird die Replikation der Quelltabelle dauerhaft gestoppt, bis das Problem behoben ist.

    Bemerkung

    This connector can be configured to immediately start replicating incremental changes for newly added tables, bypassing the snapshot load phase. This option is often useful when reinstalling the connector in an account where previously replicated data exists and you want to continue replication without having to re-snapshot tables.

    For details on the bypassing snapshot load and using the incremental load process, see Incremental replication.

Wichtig

Interim failures, such as connection errors, do not prevent tables from being replicated. Permanent failures, such as unsupported data types, do prevent tables from being replicated. If a permanent failure prevents a table from being replicated, remove the table from the list of replicated tables. After you address the problem that caused the failure, you can add the table back to the list of replicated tables.

Workflow

  1. Ein MySQL Datenbankadministrator führt die folgenden Aufgaben aus:

    • Konfiguriert die MySQL-Replikationseinstellungen.

    • Erstellt die Anmeldeinformationen für den Konnektor.

    • (Optional) Stellt das SSL-Zertifikat bereit.

  2. Ein Snowflake-Kontoadministrator führt folgende Aufgaben aus:

    1. Erstellt einen Dienstbenutzer für den Konnektor, ein Warehouse für den Konnektor und eine Zieldatenbank für die replizierten Daten.

    2. Installiert den Konnektor.

    3. Gibt die erforderlichen Parameter für die Ablaufvorlage an.

    4. Führt den Ablauf aus. Der Konnektor führt bei der Ausführung in Openflow die folgenden Aktionen aus:

      1. Erstellt ein Schema für Journaltabellen.

      2. Erstellt die Schemas und Zieltabellen, die mit den für die Replikation konfigurierten Quelltabellen übereinstimmen.

      3. Startet die Replikation der Tabellen. Weitere Informationen zum Replikationsprozess finden Sie unter Replikation von Tabellen.

Unterstützte MySQL-Versionen

In der folgenden Tabelle finden Sie die getesteten und offiziell unterstützten MySQL-Versionen.

8,0

8,4

Standard

Ja

Ja

AWS RDS

Ja

Amazon Aurora

Ja, als Version 3

GCP Cloud SQL

Ja

Ja

Azure Database

Ja

Ja

Openflow-Anforderungen

  • Die Laufzeitgröße muss mindestens „Medium“ sein. Verwenden Sie eine größere Laufzeit, wenn Sie große Datenmengen replizieren, insbesondere wenn die Zeilen groß sind.

  • Der Konnektor unterstützt keine Openflow-Laufzeitumgebungen mit mehreren Knoten. Konfigurieren Sie die Laufzeit für diesen Konnektor, indem Sie Min nodes und Max nodes auf 1 setzen.

Einschränkungen

  • Der Konnektor unterstützt MySQL-Version 8 oder höher.

  • Der Konnektor unterstützt nur die Authentifizierung mit Benutzername und Kennwort über MySQL.

  • Only database tables containing primary keys can be replicated.

  • Der Konnektor repliziert keine Tabellen mit Daten, die die Typbeschränkungen von Snowflake überschreiten.

  • Der Konnektor repliziert keine Spalten der Typen GEOMETRY, GEOMETRYCOLLECTION, LINESTRING, MULTILINESTRING, MULTIPOINT, MULTIPOLYGON, POINT und POLYGON.

  • Der Konnektor unterlegt Group-Replication-Beschränkungen von MySQL. Das bedeutet, dass eine einzelne Transaktion in eine binäre Protokollmeldung mit einer Größe von maximal 4 GB passen muss.

  • Der Konnektor unterstützt nicht das Replizieren von Tabellen von einer Leserinstanz in Amazon Azure, da Azure-Leserinstanzen keine eigenen binären Protokolle führen.

  • Der Konnektor unterstützt Änderungen am Schema der Quelltabelle mit Ausnahme der Änderung von Primärschlüsseldefinitionen und der Änderung der Genauigkeit oder Skalierung einer numerischen Spalte.

Bemerkung

Beschränkungen, die bestimmte Tabellenspalten betreffen, können umgangen werden, indem diese Spalten von der Replikation ausgeschlossen werden.

Nächste Schritte

Einrichten von Openflow Connector for MySQL

Sprache: Deutsch