Einrichten von Openflow Connector for SQL Server¶

Voraussetzungen¶

Stellen Sie vor dem Einrichten des Konnektors sicher, dass Sie die folgenden Voraussetzungen erfüllt haben:

1. Stellen Sie sicher, dass Sie Allgemeine Informationen zu Openflow Connector for SQL Server gelesen haben.

2. Stellen Sie sicher, dass Sie Unterstützte SQL-Server-Versionen gelesen haben.

3. Vergewissern Sie sich, dass Sie Ihre Laufzeitbereitstellung eingerichtet haben. Weitere Informationen dazu finden Sie unter folgenden Themen:

   • Openflow einrichten – BYOC

   • Set up Openflow - Snowflake Deployments.

4. If you use Openflow - Snowflake Deployments, ensure that you have reviewed configuring required domains and have granted access to the required domains for the SQL Server connector.

Set up your SQL Server instance¶

Bevor Sie den Konnektor einrichten, führen Sie die folgenden Aufgaben in Ihrer SQL Server-Umgebung durch:

1. Enable change tracking on the databases and tables that you plan to replicate, as shown in the following SQL Server example:

   ALTER DATABASE <database>
     SET CHANGE_TRACKING = ON
     (CHANGE_RETENTION = 2 DAYS, AUTO_CLEANUP = ON);
   
   ALTER TABLE <schema>.<table>
     ENABLE CHANGE_TRACKING
     WITH (TRACK_COLUMNS_UPDATED = ON);
   

   Copy

   Bemerkung

   Führen Sie diese Befehle für jede Datenbank und Tabelle aus, die Sie replizieren möchten.

   Der Konnektor setzt voraus, dass die Änderungsverfolgung für Datenbanken und Tabellen aktiviert ist, bevor die Replikation beginnt. Stellen Sie sicher, dass für jede Tabelle, die Sie replizieren möchten, die Änderungsverfolgung aktiviert ist. Sie können die Änderungsverfolgung auch für zusätzliche Tabellen aktivieren, während der Konnektor läuft.

2. Eine Anmeldung für die SQL Server-Instanz erstellen:

   CREATE LOGIN <user_name> WITH PASSWORD = '<password>';
   

   Copy

   Diese Anmeldung wird verwendet, um Benutzer für die Datenbanken zu erstellen, die Sie replizieren möchten.

3. Erstellen Sie einen Benutzer für jede Datenbank, die Sie replizieren, indem Sie den folgenden SQL Server-Befehl in jeder Datenbank ausführen:

   USE <source_database>;
   CREATE USER <user_name> FOR LOGIN <user_name>;
   

   Copy

4. Gewähren Sie die SELECT- und VIEW CHANGE TRACKING-Berechtigungen für den Benutzer für jede Datenbank, die Sie replizieren:

   GRANT SELECT ON <database>.<schema>.<table> TO <user_name>;
   GRANT VIEW CHANGE TRACKING ON <database>.<schema>.<table> TO <user_name>;
   

   Copy

   Führen Sie diese Befehle in jeder Datenbank für jede Tabelle aus, die Sie replizieren möchten. Diese Berechtigungen müssen dem Benutzer jeder Datenbank erteilt werden, die Sie in einem vorherigen Schritt erstellt haben.

5. (Optional) Configure SSL connection.

   If you use an SSL connection to connect SQL Server, create the root certificate for your database server. This is required when configuring the connector.

Einrichten Ihrer Snowflake-Umgebung¶

As a Snowflake administrator, perform the following tasks:

1. Erstellen Sie in Snowflake eine Zieldatenbank zum Speichern der replizierten Daten:

   CREATE DATABASE <destination_database>;
   

   Copy

2. Snowflake Servicebenutzer erstellen:

   CREATE USER <openflow_user>
     TYPE = SERVICE
     COMMENT='Service user for automated access of Openflow';
   

   Copy

3. Erstellen Sie eine Snowflake-Rolle für den Konnektor, und erteilen Sie die erforderlichen Berechtigungen:

   CREATE ROLE <openflow_role>;
   GRANT ROLE <openflow_role> TO USER <openflow_user>;
   GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>;
   GRANT CREATE SCHEMA ON DATABASE <destination_database> TO ROLE <openflow_role>;
   

   Copy

   Verwenden Sie diese Rolle, um den Zugriff des Konnektors auf die Snowflake-Datenbank zu verwalten.

   Um Objekte in der Zieldatenbank zu erstellen, müssen Sie die Berechtigungen USAGE und CREATE SCHEMA für die Datenbank der Rolle gewähren, die für die Zugriffsverwaltung verwendet wird.

4. Erstellen Sie ein Snowflake-Warehouse für den Konnektor, und erteilen Sie die erforderlichen Berechtigungen:

   CREATE WAREHOUSE <openflow_warehouse> WITH
     WAREHOUSE_SIZE = 'MEDIUM'
     AUTO_SUSPEND = 300
     AUTO_RESUME = TRUE;
   GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
   

   Copy

   Snowflake recommends starting with a MEDIUM warehouse size, then experimenting with size depending on the number of tables being replicated and the amount of data transferred. Large numbers of tables typically scale better with multi-cluster warehouses, rather than a larger warehouse size. For more information, see multi-cluster warehouses.

5. Set up the public and private keys for key pair authentication:

   1. Erstellen Sie ein Paar sicherer Schlüssel (öffentlich und privat).

   2. Store the private key for the user in a file to supply to the connector’s configuration.

   3. Weisen Sie dem Snowflake Service-Benutzer den öffentlichen Schlüssel zu.

      ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
      

      Copy

      Weitere Informationen dazu finden Sie unter Schlüsselpaar-Authentifizierung und Schlüsselpaar-Rotation.

Konnektor konfigurieren¶

As a data engineer, install and configure the connector using the following sections.

Konnektor installieren¶

1. Navigate to the Openflow overview page. In the Featured connectors section, select View more connectors.

2. Suchen Sie auf der Seite Openflow-Konnektoren den Konnektor und wählen Sie Add to runtime.

3. In the Select runtime dialog, select your runtime from the Available runtimes drop-down list and click Add.

   Bemerkung

   Bevor Sie den Konnektor installieren, stellen Sie sicher, dass Sie in Snowflake eine Datenbank und ein Schema für den Konnektor erstellt haben, in dem die aufgenommenen Daten gespeichert werden.

4. Authentifizieren Sie sich bei der Bereitstellung mit den Anmeldedaten Ihres Snowflake-Kontos und wählen Sie Allow, wenn Sie dazu aufgefordert werden, damit die Laufzeitanwendung auf Ihr Snowflake-Konto zugreifen kann. Die Installation des Konnektors nimmt einige Minuten in Anspruch.

5. Authentifizieren Sie sich bei der Laufzeit mit den Anmeldeinformationen Ihres Snowflake-Kontos.

Das Openflow-Canvas wird mit der hinzugefügten Prozessgruppe des Konnektors angezeigt.

Konnektor konfigurieren¶

To configure the connector, perform the following steps:

1. Klicken Sie mit der rechten Maustaste auf die importierte Prozessgruppe und wählen Sie Parameters.

2. Populate the required parameter values as described in Ablaufparameter.

Entfernen und erneutes Hinzufügen einer Tabelle zur Replikation¶

To remove a table from replication, remove it from the Included Table Names or Included Table Regex parameters in the Replication Parameters context.

To re-add the table to replication later, first delete the corresponding destination table in Snowflake. Afterward, add the table back to the Included Table Names or Included Table Regex parameters. This ensures that the replication process starts fresh for the table.

Diese Vorgehensweise kann auch zur Wiederherstellung nach einer fehlgeschlagenen Tabellenreplikation verwendet werden.

[
    {
        "schema": "<source table schema>",
        "table" : "<source table name>",
        "included": ["<column name>", "<column name>"],
        "excluded": ["<column name>", "<column name>"],
        "includedPattern": "<regular expression>",
        "excludedPattern": "<regular expression>",
    }
]

customers_1234_1
customers_1234_2
orders_5678_1
orders_5678_2

Führen Sie den Ablauf aus¶

1. Klicken Sie mit der rechten Maustaste auf die Ebene, und wählen Sie Enable all Controller Services.

2. Klicken Sie mit der rechten Maustaste auf die importierte Prozessgruppe und wählen Sie Start. Der Konnektor startet die Datenaufnahme.