Einrichten von Openflow Connector für Microsoft Dataverse¶
Bemerkung
Der Konnektor unterliegt den Bedingungen für Konnektoren.
Unter diesem Thema werden die Schritte zur Einrichtung von Openflow Connector für Microsoft Dataverse beschrieben.
Voraussetzungen¶
Stellen Sie sicher, dass Sie Openflow Connector für Microsoft Dataverse gelesen haben.
Stellen Sie sicher, dass Sie Openflow eingerichtet haben.
Die Anmeldeinformationen erhalten¶
Führen Sie als Microsoft Dataverse-Administrator die folgenden Schritte aus:
Stellen Sie sicher, dass Sie über eine Dataverse-Umgebung verfügen, mit der Sie arbeiten können, und dass Sie über https://admin.powerplatform.microsoft.com/ Zugriff auf diese Umgebung haben.
Stellen Sie sicher, dass Sie eine Anwendung in portal.azure.com registriert haben. Diese Anwendung muss Zugriff auf den Mandanten haben, für den wir unsere Dataverse-Umgebung zur Verfügung stellen.
Generieren und speichern Sie die ClientID und das Client-Geheimnis innerhalb dieser Anwendung.
Gehen Sie zum Power Apps Admin Center und konfigurieren Sie Ihre Dataverse-Umgebung so, dass der Zugriff über zuvor registrierte Anwendungen erfolgt. Gehen Sie dazu auf Settings » Users & permissions » Anwendungsbenutzer. Zuvor erstellte Anwendungen müssen hinzugefügt und mit den erforderlichen Berechtigungen zum Lesen von Daten aus Microsoft Dataverse versehen werden.
Kopiert und speichert die Umgebungs-URL der ausgewählten Dataverse-Umgebung von https://admin.powerplatform.microsoft.com/.
Snowflake-Konto einrichten¶
Als Snowflake-Kontoadministrator führen Sie die folgenden Aufgaben aus:
- Erstellen Sie einen Snowflake Benutzer mit dem Typ als SERVICE.
Erstellen Sie eine Datenbank und ein Schema zum Speichern der replizierten Daten und richten Sie Berechtigungen für den Dienstbenutzer zum Erstellen von Tabellen im Zielschema ein, indem Sie die Berechtigungen USAGE und CREATE TABLE erteilen.
CREATE DATABASE <destination_database>; CREATE SCHEMA <destination_database>.<destination_schema>; CREATE USER <openflow_user> TYPE=SERVICE COMMENT='Service user for automated access of Openflow'; CREATE ROLE <openflow_role>; GRANT ROLE <openflow_role> TO USER <openflow_user>; GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>; GRANT USAGE ON SCHEMA <destination_database>.<destination_schema> TO ROLE <openflow_role>; GRANT CREATE TABLE ON SCHEMA <destination_database>.<destination_schema> TO ROLE <openflow_role>; CREATE WAREHOUSE <openflow_warehouse> WITH WAREHOUSE_SIZE = 'SMALL' AUTO_SUSPEND = 300 AUTO_RESUME = TRUE; GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
Erstellen Sie ein Paar sicherer Schlüssel (öffentlich und privat). Speichern Sie den privaten Schlüssel des Benutzers in einer Datei, die Sie der Konfiguration des Konnektors zur Verfügung stellen. Weisen Sie den öffentlichen Schlüssel dem Benutzer des Snowflake-Dienstes zu:
ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
Weitere Informationen finden Sie unter Schlüsselpaar.
Snowflake empfiehlt diesen Schritt dringend. Konfigurieren Sie einen von Openflow unterstützten Geheimnismanager, z. B. AWS, Azure und Hashicorp, und speichern Sie die öffentlichen und privaten Schlüssel im Geheimnisspeicher.
Bemerkung
Wenn Sie aus irgendeinem Grund keinen Geheimnismanager verwenden möchten, sind Sie dafür verantwortlich, die für die Schlüsselpaar-Authentifizierung verwendeten öffentlichen und privaten Schlüsseldateien gemäß den Sicherheitsrichtlinien Ihrer Organisation zu schützen.
Nachem der Geheimnismanager konfiguriert ist, legen Sie fest, wie Sie sich bei ihm authentifizieren möchten. Auf AWS wird empfohlen, die mit Openflow verknüpfte EC2-Instanzrolle zu verwenden, da auf diese Weise keine weiteren Geheimnisse gespeichert werden müssen.
Konfigurieren Sie in Openflow einen mit diesem Geheimnismanager verknüpften Parameter Provider über das Hamburger-Menü oben rechts. Navigieren Sie zu Controller Settings » Parameter Provider, und rufen Sie Ihre Parameterwerte ab.
Zu diesem Zeitpunkt können alle Anmeldeinformationen mit den zugehörigen Parameterpfaden referenziert werden, und es müssen keine sensiblen Werte innerhalb von Openflow aufbewahrt werden.
Wenn andere Snowflake-Benutzer Zugriff auf die vom Konnektor aufgenommenen Rohdokumente und -tabellen benötigen (z. B. für die benutzerdefinierte Verarbeitung in Snowflake), weisen Sie diesen Benutzern die in Schritt 1 erstellte Rolle zu.
Bestimmen Sie ein Warehouse, das der Konnektor verwenden soll. Erteilen Sie der zuvor erstellten Rolle die USAGE-Berechtigung für das Warehouse. Beginnen Sie mit der kleinsten Warehouse-Größe und experimentieren Sie dann mit der Größe in Abhängigkeit von der Anzahl der zu replizierenden Tabellen und der Menge der übertragenen Daten. Große Tabellenzahlen lassen sich in der Regel besser mit Multi-Cluster-Warehouses skalieren als mit größeren Warehouse-Größen.
Einrichten des Konnektors¶
Als Data Engineer führen Sie die folgenden Aufgaben aus, um den Konnektor zu installieren und zu konfigurieren:
Konnektor installieren¶
Navigieren Sie zur Openflow-Übersichtsseite. Wählen Sie im Abschnitt Featured connectors die Option View more connectors aus.
Suchen Sie auf der Seite Openflow-Konnektoren den Konnektor und wählen Sie Add to runtime.
Wählen Sie im Dialog Select runtime Ihre Laufzeit aus der Dropdown-Liste Available runtimes aus.
Wählen Sie Add aus.
Bemerkung
Bevor Sie den Konnektor installieren, stellen Sie sicher, dass Sie in Snowflake eine Datenbank und ein Schema für den Konnektor erstellt haben, in dem die aufgenommenen Daten gespeichert werden.
Authentifizieren Sie sich bei der Bereitstellung mit den Anmeldedaten Ihres Snowflake-Kontos und wählen Sie Allow, wenn Sie dazu aufgefordert werden, damit die Laufzeitanwendung auf Ihr Snowflake-Konto zugreifen kann. Die Installation des Konnektors nimmt einige Minuten in Anspruch.
Authentifizieren Sie sich bei der Laufzeit mit den Anmeldeinformationen Ihres Snowflake-Kontos.
Das Openflow-Canvas wird mit der hinzugefügten Prozessgruppe des Konnektors angezeigt.
Konnektor konfigurieren¶
Klicken Sie mit der rechten Maustaste auf die importierte Prozessgruppe und wählen Sie Parameters.
Geben Sie die erforderlichen Parameterwerte ein, wie unter Ablaufparameter beschrieben.
Ablaufparameter¶
In diesem Abschnitt werden die Ablaufparameter beschrieben, die Sie anhand der folgenden Parameterkontexte konfigurieren können:
Quellesystemparameter für Dataverse: werden verwendet, um die Verbindung mit Dataverse herzustellen.
Zielsystemparameter für Dataverse: werden verwendet, um die Verbindung mit Snowflake herzustellen.
Aufnahmeparameter für Dataverse: werden verwendet, um die Konfiguration der von Dataverse heruntergeladenen Daten zu definieren.
Quellsystemparameter für Dataverse¶
Parameter |
Beschreibung |
---|---|
Source Dataverse Environment URL |
Der Hauptbezeichner eines Quellsystems zum Abrufen von Daten. Die URL gibt einen Namespace an, in dem Dataverse-Tabellen existieren. Außerdem können Sie damit einen Bereichsparameter für OAuth erstellen. |
Source Microsoft Azure Tenant ID |
Mit der Microsoft-Mandanten-ID können Sie OAuth URLs erstellen. |
Source OAuth Client ID |
Die Microsoft Dataverse Web-API verwendet die OAuth-Authentifizierung, um den Zugriff zu sichern, und der Konnektor verwendet den Client-Anmeldeinformationen-Ablauf. Informationen über die Client-ID und wie man sie in Microsoft Entra findet, finden Sie unter Anwendungs-ID (Client-ID). |
Quelle OAuth Client Secret |
Die Microsoft Dataverse Web-API verwendet die OAuth-Authentifizierung, um den Zugriff zu sichern, und der Konnektor verwendet den Client-Anmeldeinformationen-Ablauf. Informationen zum Client-Geheimnis und wie Sie es in Microsoft Entra finden, finden Sie unter Zertifikate und Geheimnisse. |
Zielsystemparameter für Dataverse¶
Parameter |
Beschreibung |
---|---|
Destination Database |
Die Datenbank, in der die Daten persistiert werden. Sie muss bereits in Snowflake vorhanden sein |
Destination Schema |
Das Schema, in dem die Daten persistiert werden. Sie muss bereits in Snowflake vorhanden sein |
Snowflake Account Identifier |
Snowflake-Kontoname im Format [organisation-name]-[account-name], in dem die Daten gespeichert werden |
Snowflake Authentication Strategy |
Strategie zur Authentifizierung bei Snowflake. Mögliche Werte: SNOWFLAKE_SESSION_TOKEN – wenn wir den Ablauf auf SPCS ausführen, KEY_PAIR, wenn wir den Zugriff mit einem privaten Schlüssel einrichten wollen |
Snowflake Private Key |
Der private RSA Schlüssel, der für die Authentifizierung verwendet wird. Der RSA-Schlüssel muss nach den PKCS8-Standards formatiert sein und den Standard-PEM-Header und -Footer enthalten. Beachten Sie, dass entweder Snowflake Private Key File oder Snowflake Private Key definiert sein muss |
Snowflake Private Key File |
Die Datei, die den privaten RSA-Schlüssel enthält, der für die Authentifizierung bei Snowflake verwendet wird. Sie ist nach den PKCS8-Standards formatiert und hat die Standard-PEM-Header und -Footer. Die Header beginnt mit |
Snowflake Private Key Password |
Das Kennwort, das mit der Snowflake Private Key-Datei verknüpft ist |
Snowflake Role |
Snowflake-Rolle, die bei der Ausführung der Abfrage verwendet wird |
Snowflake-Benutzername |
Benutzername für die Verbindung zur Snowflake-Instanz |
Snowflake Warehouse |
Snowflake Warehouse zur Ausführung von Abfragen |
Aufnahmeparameter für Dataverse¶
Parameter |
Beschreibung |
---|---|
Scheduling Interval |
Der Prozessor, der eine Liste der zu importierenden Tabellen abruft, muss gemäß einem Zeitplan ausgelöst werden. Das Intervall wird vom Benutzer festgelegt. |
Source Tables Filter Strategy |
Strategie zum Filtern der zu aufzunehmenden Tabellen. Kann entweder REGEXP oder LIST sein. |
Source Tables Filter Value |
Wert des Tabellenfilters. Wenn „Source Tables Filter Strategy“ auf REGEXP eingestellt ist, wird mit diesem regulären Ausdruck nach den auszuwählenden Tabellen gesucht. Wenn LIST angegeben wird, handelt es sich um eine durch Kommas getrennte Liste von Tabellennamen. |
Führen Sie den Ablauf aus¶
Klicken Sie mit der rechten Maustaste auf die Ebene, und wählen Sie Enable all Controller Services.
Klicken Sie mit der rechten Maustaste auf die importierte Prozessgruppe und wählen Sie Start. Der Konnektor startet die Datenaufnahme.