Einrichten von Openflow Connector for HubSpot¶

Voraussetzungen¶

1. Stellen Sie sicher, dass Sie Allgemeine Informationen zu Openflow Connector for HubSpot gelesen haben.

2. Stellen Sie sicher, dass Sie folgende Aufgaben ausgeführt haben: Openflow einrichten – BYOC oder Openflow einrichten – Snowflake-Bereitstellungen.

3. Stellen Sie bei der Verwendung von Openflow - Snowflake Deployments sicher, dass Sie Konfigurieren der erforderlichen Domänen gelesen und Zugriff auf die erforderlichen Domänen für den Hubspot-Konnektor gewährt haben.

Die Anmeldeinformationen erhalten¶

Als HubSpot-Administrator generieren Sie ein privates HubSpot-App-Token oder erstellen eines in Ihrem HubSpot-Konto. Damit können Sie Ihre Anfragen an die HubSpot-API authentifizieren.

1. Melden Sie sich bei Ihrem HubSpot-Konto an.

2. Navigieren Sie zu Settings, indem Sie das Zahnradsymbol in der oberen Navigationsleiste auswählen.

3. Wählen Sie im linken Navigationsbereich Integrations » Private Apps aus.

4. Wählen Sie Create a private app aus.

   1. Geben Sie einen Namen für Ihre App ein.

   2. Navigieren Sie zur Registerkarte Scopes.

   3. Wählen Sie die für die von Ihnen beabsichtigten API-Anfragen erforderlichen Bereiche aus. Die für die API-Anfragen erforderlichen Bereiche finden Sie unter Bereiche.

   4. Wählen Sie Create app aus.

   5. Legen Sie die erforderlichen Bereiche für die API-Anfragen fest, die Sie für jeden Endpunkt stellen möchten.

5. Wählen Sie View access token, um das Zugriffstoken anzuzeigen. Fügen Sie das Token in die Verbindungsparameter ein oder speichern Sie es sicher.

Snowflake-Konto einrichten¶

Als Snowflake-Kontoadministrator führen Sie die folgenden Aufgaben aus:

1. Erstellen Sie eine neue Rolle, oder verwenden Sie eine vorhandene Rolle, und gewähren Sie die Berechtigungen von Datenbanken und:ref:label-view_privileges.

2. Erstellen Sie einen neuen Benutzer für den Snowflake-Dienst mit dem Typ SERVICE.

3. Weisen Sie dem Benutzer des Snowflake-Dienstes die Rolle zu, die Sie in den vorherigen Schritten erstellt haben.

4. Konfigurieren Sie mit Schlüsselpaar-Authentifizierung für den Snowflake SERVICE-Benutzer aus Schritt 2.

5. Snowflake empfiehlt diesen Schritt dringend. Konfigurieren Sie einen von Openflow unterstützten Geheimnismanager, z. B. AWS, Azure und Hashicorp, und speichern Sie die öffentlichen und privaten Schlüssel im Geheimnisspeicher.

   Bemerkung

   Wenn Sie aus irgendeinem Grund keinen Geheimnismanager verwenden möchten, sind Sie dafür verantwortlich, die für die Schlüsselpaar-Authentifizierung verwendeten Dateien für den öffentlichen und privaten Schlüssel gemäß den Sicherheitsrichtlinien Ihrer Organisation zu schützen.

   1. Nachdem der Geheimnismanager konfiguriert wurde, legen Sie fest, wie Sie sich bei diesem authentifizieren möchten. Für AWS wird empfohlen, dass Sie die EC2-Instanzrolle verwenden, die mit Openflow verbunden ist, da auf diese Weise keine weiteren Geheimnisse bestehen bleiben müssen.

   2. Konfigurieren Sie in Openflow über das Hamburger-Menü oben rechts einen Parameteranbieter, der mit diesem Secrets Manager verbunden ist. Navigieren Sie zu Controller Settings » Parameter Provider und rufen Sie dann Ihre Parameterwerte ab.

   3. Zu diesem Zeitpunkt können alle Anmeldeinformationen mit den zugehörigen Parameterpfaden referenziert werden, und es müssen keine sensiblen Werte innerhalb von Openflow aufbewahrt werden.

6. Wenn andere Snowflake-Benutzer Zugriff auf die vom Konnektor aufgenommenen Rohdokumente und -tabellen benötigen (z. B. für die benutzerdefinierte Verarbeitung in Snowflake), weisen Sie diesen Benutzern die in Schritt 1 erstellte Rolle zu.

7. Erstellen Sie in Snowflake eine Datenbank und ein Schema für den Konnektor, um die aufgenommenen Daten zu speichern. Erteilen Sie der im ersten Schritt erstellten Rolle die folgenden Berechtigungen von Datenbanken.

   CopyExpand

   CREATE DATABASE hubspot_destination_db;
   CREATE SCHEMA hubspot_destination_db.hubspot_destination_schema;
   GRANT USAGE ON DATABASE hubspot_destination_db TO ROLE <hubspot_connector_role>;
   GRANT USAGE ON SCHEMA hubspot_destination_db.hubspot_destination_schema TO ROLE <hubspot_connector_role>;
   GRANT CREATE TABLE, CREATE VIEW ON SCHEMA hubspot_destination_db.hubspot_destination_schema TO ROLE <hubspot_connector_role>;
   

   Show lessSee more

   Scroll to top

8. Erstellen Sie ein Warehouse, das vom Konnektor verwendet werden soll, oder verwenden Sie ein bestehendes. Beginnen Sie mit der kleinsten Warehouse-Größe. Experimentieren Sie dann mit der Größe abhängig von der Anzahl der zu replizierenden Tabellen und der übertragenen Datenmenge. Eine große Anzahl von Tabellen skaliert normalerweise besser mit Multi-Cluster-Warehouses und nicht anhand der Warehouse-Größe.

9. Stellen Sie sicher, dass der Benutzer mit der Rolle, die der Konnektor verwendet, über die erforderlichen Berechtigungen zur Nutzung des Warehouse verfügt. Wenn das nicht der Fall ist, erteilen Sie der Rolle die erforderlichen Berechtigungen.

   CopyExpand

   CREATE WAREHOUSE hubspot_connector_warehouse WITH WAREHOUSE_SIZE = 'X-Small';
   GRANT USAGE ON WAREHOUSE hubspot_connector_warehouse TO ROLE <hubspot_connector_role>;
   

   Show lessSee more

   Scroll to top

Einrichten des Konnektors¶

Als Data Engineer führen Sie die folgenden Aufgaben aus, um den Konnektor zu installieren und zu konfigurieren:

Führen Sie den Ablauf aus¶

1. Klicken Sie mit der rechten Maustaste auf die Ebene, und wählen Sie Enable all Controller Services.

2. Klicken Sie mit der rechten Maustaste auf die importierte Prozessgruppe und wählen Sie Start. Der Konnektor startet die Datenaufnahme.

Datenstruktur und Ansichten¶

Der Konnektor speichert Daten in den folgenden beiden Formaten innerhalb Ihrer Snowflake-Datenbank: