Einrichten von Openflow Connector für Microsoft Dataverse¶
Bemerkung
Der Konnektor unterliegt den Bedingungen für Konnektoren.
Unter diesem Thema werden die Schritte zur Einrichtung von Openflow Connector für Microsoft Dataverse beschrieben.
Voraussetzungen¶
Stellen Sie sicher, dass Sie Openflow Connector für Microsoft Dataverse gelesen haben.
Stellen Sie sicher, dass Sie Openflow eingerichtet haben.
Die Anmeldeinformationen erhalten¶
Führen Sie als Microsoft Dataverse-Administrator die folgenden Schritte aus:
Stellen Sie sicher, dass Sie über eine Dataverse-Umgebung verfügen, mit der Sie arbeiten können, und dass Sie über https://admin.powerplatform.microsoft.com/ Zugriff auf diese Umgebung haben.
Stellen Sie unter portal.azure.com sicher, dass Sie eine Anwendung in Microsoft Entra ID registriert haben. Diese Anwendung muss Zugriff auf den Mandanten haben, für den unsere Dataverse-Umgebung verfügbar ist. Um die Anwendung zu registrieren, folgen Sie diesem Leitfaden.
Generieren und speichern Sie die ClientID und das Client-Geheimnis innerhalb dieser Anwendung.
Rufen Sie das Power Apps Admin Center auf, und konfigurieren Sie Ihre Dataverse-Umgebung so, dass der Zugriff über zuvor registrierte Anwendungen möglich ist. Gehen Sie dazu zu Manage » Environments und wählen Sie die zu konfigurierende Umgebung aus. Rufen Sie dann Settings » Users & permissions » Application users auf. Zuvor erstellte Anwendungen müssen hinzugefügt und mit den erforderlichen Berechtigungen versehen werden, um Daten aus Microsoft Dataverse zu lesen.
Kopiert und speichert die Umgebungs-URL der ausgewählten Dataverse-Umgebung von https://admin.powerplatform.microsoft.com/.
Snowflake-Konto einrichten¶
Als Snowflake-Kontoadministrator führen Sie die folgenden Aufgaben aus:
- Erstellen Sie einen Snowflake Benutzer mit dem Typ als SERVICE.
Erstellen Sie eine Datenbank und ein Schema zum Speichern der replizierten Daten und richten Sie Berechtigungen für den Dienstbenutzer zum Erstellen von Tabellen im Zielschema ein, indem Sie die Berechtigungen USAGE und CREATE TABLE erteilen.
CREATE DATABASE <destination_database>; CREATE SCHEMA <destination_database>.<destination_schema>; CREATE USER <openflow_user> TYPE=SERVICE COMMENT='Service user for automated access of Openflow'; CREATE ROLE <openflow_role>; GRANT ROLE <openflow_role> TO USER <openflow_user>; GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>; GRANT USAGE ON SCHEMA <destination_database>.<destination_schema> TO ROLE <openflow_role>; GRANT CREATE TABLE ON SCHEMA <destination_database>.<destination_schema> TO ROLE <openflow_role>; CREATE WAREHOUSE <openflow_warehouse> WITH WAREHOUSE_SIZE = 'SMALL' AUTO_SUSPEND = 300 AUTO_RESUME = TRUE; GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
Erstellen Sie ein Paar sicherer Schlüssel (öffentlich und privat). Speichern Sie den privaten Schlüssel des Benutzers in einer Datei, die Sie der Konfiguration des Konnektors zur Verfügung stellen. Weisen Sie den öffentlichen Schlüssel dem Benutzer des Snowflake-Dienstes zu:
ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
Weitere Informationen finden Sie unter Schlüsselpaar.
Snowflake empfiehlt diesen Schritt dringend. Konfigurieren Sie einen von Openflow unterstützten Geheimnismanager, z. B. AWS, Azure und Hashicorp, und speichern Sie die öffentlichen und privaten Schlüssel im Geheimnisspeicher.
Bemerkung
Wenn Sie aus irgendeinem Grund keinen Geheimnismanager verwenden möchten, sind Sie dafür verantwortlich, die für die Schlüsselpaar-Authentifizierung verwendeten öffentlichen und privaten Schlüsseldateien gemäß den Sicherheitsrichtlinien Ihrer Organisation zu schützen.
Nachem der Geheimnismanager konfiguriert ist, legen Sie fest, wie Sie sich bei ihm authentifizieren möchten. Auf AWS wird empfohlen, die mit Openflow verknüpfte EC2-Instanzrolle zu verwenden, da auf diese Weise keine weiteren Geheimnisse gespeichert werden müssen.
Konfigurieren Sie in Openflow einen mit diesem Geheimnismanager verknüpften Parameter Provider über das Hamburger-Menü oben rechts. Navigieren Sie zu Controller Settings » Parameter Provider, und rufen Sie Ihre Parameterwerte ab.
Zu diesem Zeitpunkt können alle Anmeldeinformationen mit den zugehörigen Parameterpfaden referenziert werden, und es müssen keine sensiblen Werte innerhalb von Openflow aufbewahrt werden.
Wenn andere Snowflake-Benutzer Zugriff auf die vom Konnektor aufgenommenen Rohdokumente und -tabellen benötigen (z. B. für die benutzerdefinierte Verarbeitung in Snowflake), weisen Sie diesen Benutzern die in Schritt 1 erstellte Rolle zu.
Bestimmen Sie ein Warehouse, das der Konnektor verwenden soll. Erteilen Sie der zuvor erstellten Rolle die USAGE-Berechtigung für das Warehouse. Beginnen Sie mit der kleinsten Warehouse-Größe und experimentieren Sie dann mit der Größe in Abhängigkeit von der Anzahl der zu replizierenden Tabellen und der Menge der übertragenen Daten. Große Tabellenzahlen lassen sich in der Regel besser mit Multi-Cluster-Warehouses skalieren als mit größeren Warehouse-Größen.
Einrichten des Konnektors¶
Als Data Engineer führen Sie die folgenden Aufgaben aus, um den Konnektor zu installieren und zu konfigurieren:
Konnektor installieren¶
Navigieren Sie zur Openflow-Übersichtsseite. Wählen Sie im Abschnitt Featured connectors die Option View more connectors aus.
Suchen Sie auf der Seite Openflow-Konnektoren den Konnektor und wählen Sie Add to runtime.
Wählen Sie im Dialog Select runtime Ihre Laufzeit aus der Dropdown-Liste Available runtimes aus.
Wählen Sie Add aus.
Bemerkung
Bevor Sie den Konnektor installieren, stellen Sie sicher, dass Sie in Snowflake eine Datenbank und ein Schema für den Konnektor erstellt haben, in dem die aufgenommenen Daten gespeichert werden.
Authentifizieren Sie sich bei der Bereitstellung mit den Anmeldedaten Ihres Snowflake-Kontos und wählen Sie Allow, wenn Sie dazu aufgefordert werden, damit die Laufzeitanwendung auf Ihr Snowflake-Konto zugreifen kann. Die Installation des Konnektors nimmt einige Minuten in Anspruch.
Authentifizieren Sie sich bei der Laufzeit mit den Anmeldeinformationen Ihres Snowflake-Kontos.
Das Openflow-Canvas wird mit der hinzugefügten Prozessgruppe des Konnektors angezeigt.
Konnektor konfigurieren¶
Klicken Sie mit der rechten Maustaste auf die importierte Prozessgruppe und wählen Sie Parameters.
Geben Sie die erforderlichen Parameterwerte ein, wie unter Ablaufparameter beschrieben.
Ablaufparameter¶
In diesem Abschnitt werden die Ablaufparameter beschrieben, die Sie anhand der folgenden Parameterkontexte konfigurieren können:
Quellesystemparameter für Dataverse: werden verwendet, um die Verbindung mit Dataverse herzustellen.
Zielsystemparameter für Dataverse: werden verwendet, um die Verbindung mit Snowflake herzustellen.
Aufnahmeparameter für Dataverse: werden verwendet, um die Konfiguration der von Dataverse heruntergeladenen Daten zu definieren.
Quellsystemparameter für Dataverse¶
Parameter |
Beschreibung |
---|---|
Source Dataverse Environment URL |
Der Hauptbezeichner eines Quellsystems zum Abrufen von Daten. Die URL gibt einen Namespace an, in dem Dataverse-Tabellen existieren. Außerdem können Sie damit einen Bereichsparameter für OAuth erstellen. |
Source Tenant ID |
Die Microsoft Azure-Mandanten-ID. Sie wird verwendet, um OAuth-URLs zu erstellen. Die Microsoft Dataverse-Umgebung muss zu diesem Mandanten gehören. |
Source OAuth Client ID |
Die Microsoft Azure-Client-ID, die für den Zugriff auf die Microsoft Dataverse-API verwendet wird. Die Microsoft Dataverse-Web-API verwendet die OAuth-Authentifizierung für einen sicheren Zugriff und der Konnektor nutzt den Workflow für Client-Anmeldeinformationen. Weitere Informationen zur Client-ID und wie Sie diese in Microsoft Entra finden, finden Sie unter Anwendungs-ID (Client ID). |
Quelle OAuth Client Secret |
Der geheime Microsoft Azure-Client-Schlüssel, der für den Zugriff auf die Microsoft Dataverse-API verwendet wird. Die Microsoft Dataverse-Web-API verwendet die OAuth-Authentifizierung für einen sicheren Zugriff und der Konnektor nutzt den Workflow für Client-Anmeldeinformationen. Weitere Informationen geheimen Client-Schlüssel und wie Sie diesen in Microsoft Entra finden, finden Sie unter Zertifikate und Geheimnisse. |
Zielsystemparameter für Dataverse¶
Parameter |
Beschreibung |
---|---|
Destination Database |
Die Datenbank, in der die Daten persistiert werden. Sie muss bereits in Snowflake vorhanden sein |
Destination Schema |
Das Schema, in dem die Daten persistiert werden. Sie muss bereits in Snowflake vorhanden sein |
Snowflake Account Identifier |
Snowflake-Kontoname im Format [organisation-name]-[account-name], in dem die Daten gespeichert werden |
Snowflake Authentication Strategy |
Strategie zur Authentifizierung bei Snowflake. Mögliche Werte: SNOWFLAKE_SESSION_TOKEN – wenn wir den Ablauf auf SPCS ausführen, KEY_PAIR, wenn wir den Zugriff mit einem privaten Schlüssel einrichten wollen |
Snowflake Private Key |
Der private RSA Schlüssel, der für die Authentifizierung verwendet wird. Der RSA-Schlüssel muss nach den PKCS8-Standards formatiert sein und den Standard-PEM-Header und -Footer enthalten. Beachten Sie, dass entweder Snowflake Private Key File oder Snowflake Private Key definiert sein muss |
Snowflake Private Key File |
Die Datei, die den privaten RSA-Schlüssel enthält, der für die Authentifizierung bei Snowflake verwendet wird. Sie ist nach den PKCS8-Standards formatiert und hat die Standard-PEM-Header und -Footer. Die Header beginnt mit |
Snowflake Private Key Password |
Das Kennwort, das mit der Snowflake Private Key-Datei verknüpft ist |
Snowflake Role |
Snowflake-Rolle, die bei der Ausführung der Abfrage verwendet wird |
Snowflake-Benutzername |
Benutzername für die Verbindung zur Snowflake-Instanz |
Snowflake Warehouse |
Snowflake Warehouse zur Ausführung von Abfragen |
Aufnahmeparameter für Dataverse¶
Parameter |
Beschreibung |
---|---|
Scheduling Interval |
Das Intervall, das als Trigger-Intervall für den Prozessor verwendet werden soll, der die Liste der Tabellen abruft und die Datenaufnahme initialisiert. |
Source Tables Filter Strategy |
Strategie zum Filtern der zu aufzunehmenden Tabellen. Kann entweder REGEXP oder LIST sein. |
Source Tables Filter Value |
Wert des Tabellenfilters. Wenn „Source Tables Filter Strategy“ auf REGEXP eingestellt ist, wird mit diesem regulären Ausdruck nach den auszuwählenden Tabellen gesucht. Wenn LIST angegeben wird, handelt es sich um eine durch Kommas getrennte Liste von Tabellennamen. |
Führen Sie den Ablauf aus¶
Klicken Sie mit der rechten Maustaste auf die Ebene, und wählen Sie Enable all Controller Services.
Klicken Sie mit der rechten Maustaste auf die importierte Prozessgruppe und wählen Sie Start. Der Konnektor startet die Datenaufnahme.