Einrichten von Openflow Connector for Excel¶

Voraussetzungen¶

1. Stellen Sie sicher, dass Sie Allgemeine Informationen zu Openflow Connector for Excel gelesen haben.

2. Stellen Sie sicher, dass Sie Openflow eingerichtet haben.

Die Anmeldeinformationen erhalten¶

In diesem Abschnitt werden die Schritte zum Abrufen Ihrer Anmeldeinformationen für die Konfiguration des Konnektors beschrieben. Abhängig von Ihrer Datenquelle:

• AWS Anmeldeinformationen abrufen

• SharePoint-Anmeldeinformationen abrufen

Snowflake-Konto einrichten¶

Als Snowflake-Kontoadministrator führen Sie die folgenden Aufgaben aus:

1. Erstellen Sie eine neue Rolle oder verwenden Sie eine vorhandene Rolle.

2. Erstellen Sie einen neuen Benutzer für den Snowflake-Dienst mit dem Typ SERVICE.

3. Weisen Sie dem Benutzer des Snowflake-Dienstes die Rolle zu, die Sie in den vorherigen Schritten erstellt haben.

4. Konfigurieren Sie mit Schlüsselpaar-Authentifizierung für den Snowflake SERVICE-Benutzer aus Schritt 2.

5. Dringend empfohlen Konfigurieren Sie einen von Openflow unterstützten Geheimnismanager, z. B. AWS, Azure und Hashicorp, und speichern Sie die öffentlichen und privaten Schlüssel im Geheimnisspeicher.

   Bemerkung

   Wenn Sie keinen Geheimnis-Manager verwenden möchten, sind Sie dafür verantwortlich, die für die Schlüsselpaar-Authentifizierung verwendeten öffentlichen und privaten Schlüsseldateien gemäß den Sicherheitsrichtlinien Ihrer Organisation zu schützen.

   1. Nachem der Geheimnismanager konfiguriert ist, legen Sie fest, wie Sie sich bei ihm authentifizieren möchten. Auf AWS wird empfohlen, die mit Openflow verbundene Instanzrolle EC2 zu verwenden, damit keine weiteren Geheimnisse gespeichert werden müssen.

   2. Konfigurieren Sie in Openflow einen Parameter Provider, der mit diesem Geheimnismanager verbunden ist, aus dem Hamburger-Menü oben rechts. Navigieren Sie zu Controller Settings » Parameter Provider, und rufen Sie Ihre Parameterwerte ab.

   3. Zu diesem Zeitpunkt können alle Anmeldeinformationen mit den zugehörigen Parameterpfaden referenziert werden, und es müssen keine sensiblen Werte innerhalb von Openflow aufbewahrt werden.

6. Wenn andere Snowflake-Benutzer Zugriff auf die vom Konnektor aufgenommenen Rohdokumente und -tabellen benötigen (z. B. für die benutzerdefinierte Verarbeitung in Snowflake), weisen Sie diesen Benutzern die in Schritt 1 erstellte Rolle zu.

7. Erstellen Sie in Snowflake eine Datenbank und ein Schema für den Konnektor, um die aufgenommenen Daten zu speichern. Erteilen Sie der im ersten Schritt erstellten Rolle die erforderlichen Berechtigungen von Datenbanken. Ersetzen Sie den Platzhalter für die Rolle durch den tatsächlichen Wert und verwenden Sie die folgenden SQL-Befehle:

   CREATE DATABASE excel_destination_db;
   CREATE SCHEMA excel_destination_db.excel_destination_schema;
   GRANT USAGE ON DATABASE excel_destination_db TO ROLE <excel_connector_role>;
   GRANT USAGE ON SCHEMA excel_destination_db.excel_destination_schema TO ROLE <excel_connector_role>;
   GRANT CREATE TABLE ON SCHEMA excel_destination_db.excel_destination_schema TO ROLE <excel_connector_role>;
   

   Copy

8. Erstellen Sie ein Warehouse, das vom Konnektor verwendet werden soll, oder verwenden Sie ein vorhandenes. Beginnen Sie mit der kleinsten Warehouse-Größe und experimentieren Sie dann mit der Größe in Abhängigkeit von der Anzahl der zu replizierenden Tabellen und der Menge der übertragenen Daten. Große Tabellenzahlen lassen sich in der Regel besser mit Multi-Cluster-Warehouses skalieren als mit größeren Warehouse-Größen.

9. Stellen Sie sicher, dass der Benutzer mit der Rolle, die der Konnektor verwendet, über die erforderlichen Berechtigungen zur Nutzung des Warehouse verfügt. Wenn das nicht der Fall ist, gewähren Sie der Rolle die erforderlichen Berechtigungen:

   CREATE WAREHOUSE excel_connector_warehouse WITH WAREHOUSE_SIZE = 'X-Small';
   GRANT USAGE ON WAREHOUSE excel_connector_warehouse TO ROLE <excel_connector_role>;
   

   Copy

Einrichten des Konnektors¶

Als Data Engineer führen Sie die folgenden Aufgaben aus, um einen Konnektor zu installieren und zu konfigurieren:

Führen Sie den Ablauf aus¶

1. Klicken Sie mit der rechten Maustaste auf die Ebene, und wählen Sie Enable all Controller Services.

2. Klicken Sie mit der rechten Maustaste auf die importierte Prozessgruppe und wählen Sie Start. Der Konnektor startet die Datenaufnahme.

Generierte Tabellennamen¶

Der Konnektor erstellt Zieltabellen, die nach der folgenden Vorlage benannt werden: {PREFIX}{FILENAME}_{RANGE}. Die Namen sind immer Bezeichner in doppelten Anführungszeichen.

• {PREFIX} wird durch den Wert des Parameters Destination Table Prefix ersetzt, z. B. prfx_.

• {FILENAME} wird durch den vollständigen Pfad der importierten Datei ersetzt, z. B. file1.xlsx oder folder/file2.xlsx.

• {RANGE} wird ersetzt durch:

  • Name des aufgenommenen Blatts, wenn der Wert des Parameters Ranges leer ist.

  • Name des aufgenommenen Blatts mit dem aufgenommenen Bereich, wie im Parameter Ranges angegeben, z. B. Sheet1!A1:B2.

Beispiel für generierte Tabellennamen:

• "file1.xlsx_Sheet1"

• "prfx_folder/file2.xlsx_Sheet1!A1:B2"

(Optional) Neukonfiguration des aktuell laufenden Konnektors¶

Sie können die Konnektorparameter neu konfigurieren, nachdem der Konnektor bereits mit der Datenaufnahme begonnen hat. Wenn Sie die aufgenommenen Dateien oder Bereiche ändern müssen, führen Sie die folgenden Schritte aus, um sicherzustellen, dass die Daten ordnungsgemäß an Snowflake gesendet werden:

1. Stoppt den Konnektor: Stellt sicher, dass alle Openflow-Prozessoren gestoppt sind.

2. Zugriff auf die Konfigurationseinstellungen: Navigieren Sie innerhalb von Openflow zu den Konfigurationseinstellungen des Konnektors.

3. Parameter ändern: Passen Sie die Parameter nach Bedarf an.

4. Starten des Konnektors: Starten Sie den Konnektor und stellen Sie sicher, dass alle Controller-Dienste gestartet sind.