Einrichten von Openflow Connector for MySQL¶

Voraussetzungen¶

1. Stellen Sie sicher, dass Sie Allgemeine Informationen zu Openflow Connector for MySQL gelesen haben.

2. Stellen Sie sicher, dass Sie über MySQL 8 oder eine neuere Version verfügen, um Daten mit Snowflake zu synchronisieren.

3. Stellen Sie sicher, dass Sie Openflow eingerichtet haben.

4. Führen Sie als Datenbankadministrator die folgenden Aufgaben aus:

   1. Aktivieren Sie Binärprotokolle, speichern Sie dann und konfigurieren Sie das Format wie folgt:

      log_bin	Auf on setzen. Dies aktiviert das binäre Protokoll, das Struktur- und Datenänderungen aufzeichnet.
      binlog_format	Auf row setzen. Der Konnektor unterstützt nur zeilenbasierte Replikation. MySQL 8.x-Versionen sind möglicherweise die letzten, die diese Einstellung unterstützen. Zukünftige Versionen werden nur noch die zeilenbasierte Replikation unterstützen. Nicht anwendbar in GCP-Cloud-SQL, wo er auf den richtigen Wert festgelegt ist.
      binlog_row_metadata	Auf full setzen. Der Konnektor benötigt alle Zeilenmetadaten, um zu funktionieren, vor allem Spaltennamen und Primärschlüsselinformationen.
      binlog_row_image	Auf full setzen. Der Konnektor verlangt, dass alle Spalten in das binäre Protokoll geschrieben werden. Nicht anwendbar in Amazon Aurora, wo er auf den richtigen Wert festgelegt ist.
      binlog_row_value_options	Leave empty. Diese Option wirkt sich nur auf JSON-Spalten aus, wo sie so eingestellt werden kann, dass nur die geänderten Teile von JSON-Dokumenten für UPDATE-Anweisungen berücksichtigt werden. Der Konnektor erfordert, dass vollständige Dokumente in das Binärprotokoll geschrieben werden.
      binlog_expire_logs_seconds	Stellen Sie den Wert auf mindestens einige Stunden oder länger ein, um sicherzustellen, dass der Datenbankagent die inkrementelle Replikation nach längeren Pausen oder Ausfallzeiten fortsetzen kann. Snowflake empfiehlt, den Zeitraum für den Ablauf des Binärprotokolls (binlog_expire_logs_seconds) auf mindestens einige Stunden einzustellen, um ein stabiles Funktionieren des Konnektors zu gewährleisten. Nachdem der Ablaufzeitraum des Binärprotokolls endet, werden die Binärprotokolldateien möglicherweise automatisch entfernt. Wenn die Integration für einen längeren Zeitraum pausiert, z. B. aufgrund von Wartungsarbeiten, und die abgelaufenen Binärprotokolldateien während dieser Zeit gelöscht werden, kann Openflow die Daten aus diesen Dateien nicht replizieren. Wenn Sie die geplante Replikation verwenden, muss der Wert länger sein als der konfigurierte Zeitplan.

      Siehe den folgenden Code als Beispiel:

      log_bin = on
      binlog_format = row
      binlog_row_metadata = full
      binlog_row_image = full
      binlog_row_value_options =
      

      Copy

   2. Erhöhen Sie den Wert von sort_buffer_size.

      sort_buffer_size = 4194304
      

      Copy

      sort_buffer_size definiert die Menge an Speicher (in Bytes), die pro Abfrage-Thread für Sortieroperationen im Arbeitsspeicher wie ORDER BY zugewiesen wird. Wenn der Wert zu klein ist, kann der Konnektor mit der folgenden Fehlermeldung fehlschlagen:

      Out of sort memory, consider increasing server sort buffer size. Dies bedeutet, dass sort_buffer_size erhöht werden sollte.

   3. Wenn Sie Amazon RDS-Datenbanken verwenden, dann erhöhen Sie die Aufbewahrungsfrist entsprechend binlog_expire_logs_seconds mit rds_set_configuration. Wenn Sie beispielsweise Binlogs für 24 Stunden speichern möchten, rufen Sie mysql.rds_set_configuration('binlog retention hours', 24) auf.

   4. Verbinden Sie sich über SSL. Wenn Sie eine SSL-Verbindung zu MySQL verwenden möchten, bereiten Sie das Stammzertifikat für Ihren Datenbankserver vor. Es wird während der Konfiguration benötigt.

   5. Erstellen Sie einen Benutzer für den Connector. Der Konnektor benötigt einen Benutzer mit den Berechtigungen REPLICATION_SLAVE und REPLICATION_CLIENT zum Lesen der Binärprotokolle. Erteilen Sie folgende Berechtigungen:

      GRANT REPLICATION SLAVE ON *.* TO '<username>'@'%'
      GRANT REPLICATION CLIENT ON *.* TO '<username>'@'%'
      

      Copy

   6. Erteilen Sie die SELECT-Berechtigung für jede replizierte Tabelle:

      GRANT SELECT ON <schema>.* TO '<username>'@'%'
      GRANT SELECT ON <schema>.<table> TO '<username>'@'%'
      

      Copy

      Weitere Informationen zur Replikationssicherheit finden Sie unter Binärprotokoll.

5. Als Snowflake-Kontoadministrator führen Sie die folgenden Aufgaben aus:

   1. Erstellen Sie einen Snowflake Benutzer mit dem Typ als SERVICE. Erstellen Sie eine Datenbank, um die replizierten Daten zu speichern, und richten Sie Berechtigungen für den Snowflake-Benutzer ein, um Objekte in dieser Datenbank zu erstellen, indem Sie die Berechtigungen USAGE und CREATE SCHEMA erteilen.

      CREATE DATABASE <destination_database>;
      CREATE USER <openflow_user> TYPE=SERVICE COMMENT='Service user for automated access of Openflow';
      CREATE ROLE <openflow_role>;
      GRANT ROLE <openflow_role> TO USER <openflow_user>;
      GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>;
      GRANT CREATE SCHEMA ON DATABASE <destination_database> TO ROLE <openflow_role>;
      CREATE WAREHOUSE <openflow_warehouse>
           WITH
               WAREHOUSE_SIZE = 'MEDIUM'
               AUTO_SUSPEND = 300
               AUTO_RESUME = TRUE;
      GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
      

      Copy

   2. Erstellen Sie ein Paar sicherer Schlüssel (öffentlich und privat). Speichern Sie den privaten Schlüssel des Benutzers in einer Datei, die Sie der Konfiguration des Konnektors zur Verfügung stellen. Weisen Sie den öffentlichen Schlüssel dem Benutzer des Snowflake-Dienstes zu:

      ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
      

      Copy

      Weitere Informationen finden Sie unter Schlüsselpaar.

   3. Bestimmen Sie ein Warehouse, das der Konnektor verwenden soll. Beginnen Sie mit der Größe des MEDIUM-Warehouse und experimentieren Sie dann mit der Größe in Abhängigkeit von der Anzahl der zu replizierenden Tabellen und der Menge der übertragenen Daten. Große Tabellenzahlen lassen sich in der Regel besser mit Multi-Cluster-Warehouses als mit der Warehouse-Größe.

Einrichten des Konnektors¶

Als Data Engineer führen Sie die folgenden Aufgaben aus, um den Konnektor zu installieren und zu konfigurieren:

[
    {
        "schema": "<source table schema>",
        "table" : "<source table name>",
        "included": ["<column name>", "<column name>"],
        "excluded": ["<column name>", "<column name>"],
        "includedPattern": "<regular expression>",
        "excludedPattern": "<regular expression>",
    }
]

customers_1234_1
customers_1234_2
orders_5678_1
orders_5678_2

Führen Sie den Ablauf aus¶

1. Klicken Sie mit der rechten Maustaste auf die Ebene, und wählen Sie Enable all Controller Services.

2. Klicken Sie mit der rechten Maustaste auf die importierte Prozessgruppe und wählen Sie Start. Der Konnektor startet die Datenaufnahme.