Einrichten von Openflow Connector für Microsoft Dataverse

Bemerkung

Der Konnektor unterliegt den Bedingungen für Konnektoren.

Unter diesem Thema werden die Schritte zur Einrichtung von Openflow Connector für Microsoft Dataverse beschrieben.

Voraussetzungen

  1. Stellen Sie sicher, dass Sie Openflow Connector für Microsoft Dataverse gelesen haben.

  2. Stellen Sie sicher, dass Sie Openflow eingerichtet haben.

Die Anmeldeinformationen erhalten

Führen Sie als Microsoft Dataverse-Administrator die folgenden Schritte aus:

  1. Stellen Sie sicher, dass Sie über eine Dataverse-Umgebung verfügen, mit der Sie arbeiten können, und dass Sie über https://admin.powerplatform.microsoft.com/ Zugriff auf diese Umgebung haben.

  2. Stellen Sie sicher, dass Sie eine Anwendung in portal.azure.com registriert haben. Diese Anwendung muss Zugriff auf den Mandanten haben, für den wir unsere Dataverse-Umgebung zur Verfügung stellen.

  3. Generieren und speichern Sie die ClientID und das Client-Geheimnis innerhalb dieser Anwendung.

  4. Gehen Sie zum Power Apps Admin Center und konfigurieren Sie Ihre Dataverse-Umgebung so, dass der Zugriff über zuvor registrierte Anwendungen erfolgt. Gehen Sie dazu auf Settings » Users & permissions » Anwendungsbenutzer. Zuvor erstellte Anwendungen müssen hinzugefügt und mit den erforderlichen Berechtigungen zum Lesen von Daten aus Microsoft Dataverse versehen werden.

  5. Kopiert und speichert die Umgebungs-URL der ausgewählten Dataverse-Umgebung von https://admin.powerplatform.microsoft.com/.

Snowflake-Konto einrichten

Als Snowflake-Kontoadministrator führen Sie die folgenden Aufgaben aus:

  1. Erstellen Sie einen Snowflake Benutzer mit dem Typ als SERVICE.

    Erstellen Sie eine Datenbank und ein Schema zum Speichern der replizierten Daten und richten Sie Berechtigungen für den Dienstbenutzer zum Erstellen von Tabellen im Zielschema ein, indem Sie die Berechtigungen USAGE und CREATE TABLE erteilen.

    CREATE DATABASE <destination_database>;
    CREATE SCHEMA <destination_database>.<destination_schema>;
    CREATE USER <openflow_user> TYPE=SERVICE COMMENT='Service user for automated access of Openflow';
    CREATE ROLE <openflow_role>;
    GRANT ROLE <openflow_role> TO USER <openflow_user>;
    GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>;
    GRANT USAGE ON SCHEMA <destination_database>.<destination_schema> TO ROLE <openflow_role>;
    GRANT CREATE TABLE ON SCHEMA <destination_database>.<destination_schema> TO ROLE <openflow_role>;
    CREATE WAREHOUSE <openflow_warehouse>
         WITH
             WAREHOUSE_SIZE = 'SMALL'
             AUTO_SUSPEND = 300
             AUTO_RESUME = TRUE;
    GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
    
    Copy
    1. Erstellen Sie ein Paar sicherer Schlüssel (öffentlich und privat). Speichern Sie den privaten Schlüssel des Benutzers in einer Datei, die Sie der Konfiguration des Konnektors zur Verfügung stellen. Weisen Sie den öffentlichen Schlüssel dem Benutzer des Snowflake-Dienstes zu:

      ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
      
      Copy

      Weitere Informationen finden Sie unter Schlüsselpaar.

  2. Snowflake empfiehlt diesen Schritt dringend. Konfigurieren Sie einen von Openflow unterstützten Geheimnismanager, z. B. AWS, Azure und Hashicorp, und speichern Sie die öffentlichen und privaten Schlüssel im Geheimnisspeicher.

    Bemerkung

    Wenn Sie aus irgendeinem Grund keinen Geheimnismanager verwenden möchten, sind Sie dafür verantwortlich, die für die Schlüsselpaar-Authentifizierung verwendeten öffentlichen und privaten Schlüsseldateien gemäß den Sicherheitsrichtlinien Ihrer Organisation zu schützen.

    1. Nachem der Geheimnismanager konfiguriert ist, legen Sie fest, wie Sie sich bei ihm authentifizieren möchten. Auf AWS wird empfohlen, die mit Openflow verknüpfte EC2-Instanzrolle zu verwenden, da auf diese Weise keine weiteren Geheimnisse gespeichert werden müssen.

    2. Konfigurieren Sie in Openflow einen mit diesem Geheimnismanager verknüpften Parameter Provider über das Hamburger-Menü oben rechts. Navigieren Sie zu Controller Settings » Parameter Provider, und rufen Sie Ihre Parameterwerte ab.

    3. Zu diesem Zeitpunkt können alle Anmeldeinformationen mit den zugehörigen Parameterpfaden referenziert werden, und es müssen keine sensiblen Werte innerhalb von Openflow aufbewahrt werden.

  3. Wenn andere Snowflake-Benutzer Zugriff auf die vom Konnektor aufgenommenen Rohdokumente und -tabellen benötigen (z. B. für die benutzerdefinierte Verarbeitung in Snowflake), weisen Sie diesen Benutzern die in Schritt 1 erstellte Rolle zu.

  4. Bestimmen Sie ein Warehouse, das der Konnektor verwenden soll. Erteilen Sie der zuvor erstellten Rolle die USAGE-Berechtigung für das Warehouse. Beginnen Sie mit der kleinsten Warehouse-Größe und experimentieren Sie dann mit der Größe in Abhängigkeit von der Anzahl der zu replizierenden Tabellen und der Menge der übertragenen Daten. Große Tabellenzahlen lassen sich in der Regel besser mit Multi-Cluster-Warehouses skalieren als mit größeren Warehouse-Größen.

Einrichten des Konnektors

Als Data Engineer führen Sie die folgenden Aufgaben aus, um den Konnektor zu installieren und zu konfigurieren:

Konnektor installieren

  1. Navigieren Sie zur Openflow-Übersichtsseite. Wählen Sie im Abschnitt Featured connectors die Option View more connectors aus.

  2. Suchen Sie auf der Seite Openflow-Konnektoren den Konnektor und wählen Sie Add to runtime.

  3. Wählen Sie im Dialog Select runtime Ihre Laufzeit aus der Dropdown-Liste Available runtimes aus.

  4. Wählen Sie Add aus.

    Bemerkung

    Bevor Sie den Konnektor installieren, stellen Sie sicher, dass Sie in Snowflake eine Datenbank und ein Schema für den Konnektor erstellt haben, in dem die aufgenommenen Daten gespeichert werden.

  5. Authentifizieren Sie sich bei der Bereitstellung mit den Anmeldedaten Ihres Snowflake-Kontos und wählen Sie Allow, wenn Sie dazu aufgefordert werden, damit die Laufzeitanwendung auf Ihr Snowflake-Konto zugreifen kann. Die Installation des Konnektors nimmt einige Minuten in Anspruch.

  6. Authentifizieren Sie sich bei der Laufzeit mit den Anmeldeinformationen Ihres Snowflake-Kontos.

Das Openflow-Canvas wird mit der hinzugefügten Prozessgruppe des Konnektors angezeigt.

Konnektor konfigurieren

  1. Klicken Sie mit der rechten Maustaste auf die importierte Prozessgruppe und wählen Sie Parameters.

  2. Geben Sie die erforderlichen Parameterwerte ein, wie unter Ablaufparameter beschrieben.

Ablaufparameter

In diesem Abschnitt werden die Ablaufparameter beschrieben, die Sie anhand der folgenden Parameterkontexte konfigurieren können:

Quellsystemparameter für Dataverse

Parameter

Beschreibung

Source Dataverse Environment URL

Der Hauptbezeichner eines Quellsystems zum Abrufen von Daten. Die URL gibt einen Namespace an, in dem Dataverse-Tabellen existieren. Außerdem können Sie damit einen Bereichsparameter für OAuth erstellen.

Source Microsoft Azure Tenant ID

Mit der Microsoft-Mandanten-ID können Sie OAuth URLs erstellen.

Source OAuth Client ID

Die Microsoft Dataverse Web-API verwendet die OAuth-Authentifizierung, um den Zugriff zu sichern, und der Konnektor verwendet den Client-Anmeldeinformationen-Ablauf. Informationen über die Client-ID und wie man sie in Microsoft Entra findet, finden Sie unter Anwendungs-ID (Client-ID).

Quelle OAuth Client Secret

Die Microsoft Dataverse Web-API verwendet die OAuth-Authentifizierung, um den Zugriff zu sichern, und der Konnektor verwendet den Client-Anmeldeinformationen-Ablauf. Informationen zum Client-Geheimnis und wie Sie es in Microsoft Entra finden, finden Sie unter Zertifikate und Geheimnisse.

Zielsystemparameter für Dataverse

Parameter

Beschreibung

Destination Database

Die Datenbank, in der die Daten persistiert werden. Sie muss bereits in Snowflake vorhanden sein

Destination Schema

Das Schema, in dem die Daten persistiert werden. Sie muss bereits in Snowflake vorhanden sein

Snowflake Account Identifier

Snowflake-Kontoname im Format [organisation-name]-[account-name], in dem die Daten gespeichert werden

Snowflake Authentication Strategy

Strategie zur Authentifizierung bei Snowflake. Mögliche Werte: SNOWFLAKE_SESSION_TOKEN – wenn wir den Ablauf auf SPCS ausführen, KEY_PAIR, wenn wir den Zugriff mit einem privaten Schlüssel einrichten wollen

Snowflake Private Key

Der private RSA Schlüssel, der für die Authentifizierung verwendet wird. Der RSA-Schlüssel muss nach den PKCS8-Standards formatiert sein und den Standard-PEM-Header und -Footer enthalten. Beachten Sie, dass entweder Snowflake Private Key File oder Snowflake Private Key definiert sein muss

Snowflake Private Key File

Die Datei, die den privaten RSA-Schlüssel enthält, der für die Authentifizierung bei Snowflake verwendet wird. Sie ist nach den PKCS8-Standards formatiert und hat die Standard-PEM-Header und -Footer. Die Header beginnt mit -----BEGIN PRIVATE. Aktivieren Sie das Kontrollkästchen Reference asset, um die private Schlüsseldatei hochzuladen.

Snowflake Private Key Password

Das Kennwort, das mit der Snowflake Private Key-Datei verknüpft ist

Snowflake Role

Snowflake-Rolle, die bei der Ausführung der Abfrage verwendet wird

Snowflake-Benutzername

Benutzername für die Verbindung zur Snowflake-Instanz

Snowflake Warehouse

Snowflake Warehouse zur Ausführung von Abfragen

Aufnahmeparameter für Dataverse

Parameter

Beschreibung

Scheduling Interval

Der Prozessor, der eine Liste der zu importierenden Tabellen abruft, muss gemäß einem Zeitplan ausgelöst werden. Das Intervall wird vom Benutzer festgelegt.

Source Tables Filter Strategy

Strategie zum Filtern der zu aufzunehmenden Tabellen. Kann entweder REGEXP oder LIST sein.

Source Tables Filter Value

Wert des Tabellenfilters. Wenn „Source Tables Filter Strategy“ auf REGEXP eingestellt ist, wird mit diesem regulären Ausdruck nach den auszuwählenden Tabellen gesucht. Wenn LIST angegeben wird, handelt es sich um eine durch Kommas getrennte Liste von Tabellennamen.

Führen Sie den Ablauf aus

  1. Klicken Sie mit der rechten Maustaste auf die Ebene, und wählen Sie Enable all Controller Services.

  2. Klicken Sie mit der rechten Maustaste auf die importierte Prozessgruppe und wählen Sie Start. Der Konnektor startet die Datenaufnahme.