Einrichten von Openflow Connector for SQL Server¶

Voraussetzungen¶

1. Stellen Sie sicher, dass Sie Allgemeine Informationen zu Openflow Connector for SQL Server gelesen haben.

2. Stellen Sie sicher, dass Sie Unterstützte SQL-Server-Versionen gelesen haben.

3. Stellen Sie sicher, dass Sie Openflow eingerichtet haben.

4. Führen Sie als Datenbankadministrator die folgenden Aufgaben aus:

   1. Aktivieren Sie die Änderungsverfolgung für die Datenbank und Tabellen. Der Konnektor erfordert, dass die Änderungsverfolgung für die Datenbank und die Tabellen aktiviert ist, bevor die Replikation beginnt. Stellen Sie sicher, dass für alle Tabellen, die Sie replizieren möchten, die Änderungsverfolgung aktiviert ist. Sie können auch die Änderungsverfolgung für weitere Tabellen aktivieren, während der Konnektor ausgeführt wird. Sehen den folgenden Codeausschnitt:

      ALTER DATABASE <database>
      SET CHANGE_TRACKING = ON
      (CHANGE_RETENTION = 2 DAYS, AUTO_CLEANUP = ON);
      
      ALTER TABLE <schema>.<table>
      ENABLE CHANGE_TRACKING
      WITH (TRACK_COLUMNS_UPDATED = ON);
      

      Copy

   2. Erstellen Sie einen Benutzer für den Connector. Der Konnektor benötigt einen Benutzer mit der Berechtigung VIEW CHANGE TRACKING für replizierte Tabellen. Geben Sie diesem Benutzer ein Kennwort für den Zugriff auf die Konfiguration des Konnektors.

      CREATE LOGIN <user_name> WITH PASSWORD = <password>;
      CREATE USER <user_name> FOR LOGIN <user_name>;
      GRANT SELECT ON <schema>.<table> TO <user_name>;
      GRANT VIEW CHANGE TRACKING ON <schema>.<table> TO <user_name>;
      

      Copy

   3. Verbinden Sie sich über SSL. Wenn Sie planen, eine SSL-Verbindung zum SQL-Server zu verwenden, bereiten Sie das Stammzertifikat für Ihren Datenbankserver vor. Es wird während der Konfiguration benötigt.

5. Als Snowflake-Kontoadministrator führen Sie die folgenden Aufgaben aus:

   1. Erstellen Sie einen Snowflake Benutzer mit dem Typ als SERVICE. Erstellen Sie eine Datenbank, um die replizierten Daten zu speichern, und richten Sie Berechtigungen für den Snowflake-Benutzer ein, um Objekte in dieser Datenbank zu erstellen, indem Sie die Berechtigungen USAGE und CREATE SCHEMA erteilen.

      CREATE DATABASE <destination_database>;
      CREATE USER <openflow_user> TYPE=SERVICE COMMENT='Service user for automated access of Openflow';
      CREATE ROLE <openflow_role>;
      GRANT ROLE <openflow_role> TO USER <openflow_user>;
      GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>;
      GRANT CREATE SCHEMA ON DATABASE <destination_database> TO ROLE <openflow_role>;
      CREATE WAREHOUSE <openflow_warehouse>
           WITH
               WAREHOUSE_SIZE = 'MEDIUM'
               AUTO_SUSPEND = 300
               AUTO_RESUME = TRUE;
      GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
      

      Copy

   2. Erstellen Sie ein Paar sicherer Schlüssel (öffentlich und privat). Speichern Sie den privaten Schlüssel des Benutzers in einer Datei, die Sie der Konfiguration des Konnektors zur Verfügung stellen. Weisen Sie den öffentlichen Schlüssel dem Benutzer des Snowflake-Dienstes zu:

      ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
      

      Copy

      Weitere Informationen dazu finden Sie unter Schlüsselpaar-Authentifizierung und Schlüsselpaar-Rotation.

   3. Bestimmen Sie ein Warehouse, das der Konnektor verwenden soll. Beginnen Sie mit der Größe des MEDIUM-Warehouse und experimentieren Sie dann mit der Größe in Abhängigkeit von der Anzahl der zu replizierenden Tabellen und der Menge der übertragenen Daten. Große Tabellenzahlen lassen sich in der Regel besser mit Multi-Cluster-Warehouses als mit der Warehouse-Größe.

Einrichten des Konnektors¶

Führen Sie als Data Engineer die folgenden Aufgaben aus, um den Konnektor zu konfigurieren:

[
    {
        "schema": "<source table schema>",
        "table" : "<source table name>",
        "included": ["<column name>", "<column name>"],
        "excluded": ["<column name>", "<column name>"],
        "includedPattern": "<regular expression>",
        "excludedPattern": "<regular expression>",
    }
]

Führen Sie den Ablauf aus¶

1. Klicken Sie mit der rechten Maustaste auf die Ebene, und wählen Sie Enable all Controller Services.

2. Klicken Sie mit der rechten Maustaste auf die importierte Prozessgruppe und wählen Sie Start. Der Konnektor startet die Datenaufnahme.