Einrichten des Openflow Connector for Google BigQuery¶

Voraussetzungen¶

1. Lesen Sie Allgemeine Informationen zum Openflow Connector for Google BigQuery.

2. Richten Sie Ihre Laufzeitumgebung ein.

   • Openflow einrichten – BYOC

   • Openflow – Snowflake-Bereitstellungen einrichten.

3. Stellen Sie bei der Verwendung von Openflow - Snowflake Deployments sicher, dass Sie Konfigurieren der erforderlichen Domänen gelesen haben und Zugriff auf die erforderlichen Domänen für den Konnektor gewährt haben.

4. Sie haben Zugriff auf die Rolle des Openflow-Admins oder eine ähnliche Rolle, die Sie zur Verwaltung von Openflow verwenden.

5. Wenn Sie einen Snowflake-Dienstbenutzenden zum Verwalten des Konnektors erstellen, haben Sie eine Schlüsselpaar-Authentifizierung erstellt. Weitere Informationen finden Sie unter Schlüsselpaar-Authentifizierung.

Erforderliche Endpunkte¶

Die folgenden Endpunkte sind erforderlich, damit der Konnektor funktioniert:

• bigquery.googleapis.com:443

• bigquerystorage.googleapis.com:443

• oauth2.googleapis.com:443

Wenn Sie Openflow – BYOC verwenden, müssen Sie den ausgehenden Datenverkehr Ihres Cloud-Netzwerks so konfigurieren, dass der TLS 443-Zugriff auf die oben aufgeführten Endpunkte möglich ist. Wenn Sie Openflow - Snowflake Deployments verwenden, müssen Sie eine Netzwerkregel und eine Integration für den externen Zugriff (EAI) erstellen. Erteilen Sie dann der Snowflake-Rolle die Nutzungsberechtigung für die EAI.

BigQuery einrichten¶

1. Erstellen Sie ein Google Cloud Service-Konto und erteilen Sie diesem die erforderlichen Berechtigungen zum Lesen von BigQuery-Daten. Der Konnektor verwendet dieses Konto für die Authentifizierung.

   Dieses Konto muss über die folgenden Berechtigungen verfügen:

   • BigQuery User

   • BigQuery Data Editor

Wichtig

BigQuery Data Editor muss auf Projektebene erteilt werden, nicht für einzelne Datensets. Der Konnektor fragt {project}.{region}.INFORMATION_SCHEMA.TABLES ab, um Tabellen in allen konfigurierten Regionen zu ermitteln – eine regionsbezogene Ansicht, die Zugriff auf Projektebene erfordert. Der Konnektor fragt zudem {project}.{dataset}.INFORMATION_SCHEMA.KEY_COLUMN_USAGE ab, um die Primärschlüssel für jede replizierte Tabelle zu bestimmen. Ohne Zugriff auf Projektebene schlägt die Abfrage mit einem Access Denied-Fehler fehl und der Konnektor wird nicht korrekt ausgeführt.

1. Generieren Sie die entsprechende JSON-Schlüsseldatei für das Dienstkonto und laden Sie diese herunter. Sie benötigen den vollständigen Inhalt dieser Datei für die Konfiguration des Konnektors.

2. Aktivieren Sie den Änderungsverlauf für jede Quelltabelle, damit der Konnektor eine inkrementelle Replikation durchführen kann. Dieses Feature ermöglicht BigQuery, Änderungen auf Zeilenebene (Einfügungen, Aktualisierungen und Löschungen) zu verfolgen, die der Konnektor verwendet, um Daten effizient zu synchronisieren.

   Führen Sie die folgende Abfrage in der BigQuery-Konsole für jede Tabelle aus:

   CopyExpand

   ALTER TABLE `project.dataset.table`
   SET OPTIONS (enable_change_history = TRUE);
   

   Show lessSee more

   Scroll to top

Einrichten Ihres Snowflake-Kontos¶

Führen Sie als Openflow-Admin die folgenden Aufgaben aus, um Ihr Snowflake-Konto einzurichten:

1. Snowflake-Servicebenutzer erstellen:

   CopyExpand

   USE ROLE USERADMIN;
   CREATE USER <openflow_service_user>
     TYPE=SERVICE
     COMMENT='Service user for Openflow automation';
   

   Show lessSee more

   Scroll to top

2. Speichern Sie den privaten Schlüssel für diesen Benutzenden in einer Datei, um sie für die Konfiguration des Konnektors bereitzustellen. Weitere Informationen finden Sie unter Schlüsselpaar-Authentifizierung.

   CopyExpand

   ALTER USER <openflow_service_user> SET RSA_PUBLIC_KEY = '<pubkey>';
   

   Show lessSee more

   Scroll to top

3. Erstellen Sie eine Datenbank, in der die replizierten Daten gespeichert werden, und richten Sie Berechtigungen für den Snowflake-Benutzenden zum Erstellen von Objekten in dieser Datenbank durch Gewähren der USAGE- undCREATESCHEMA-Berechtigungen ein.

   CopyExpand

   USE ROLE ACCOUNTADMIN;
   CREATE DATABASE IF NOT EXISTS <destination_database>;
   GRANT USAGE ON DATABASE <destination_database> TO USER <openflow_service_user>;
   GRANT CREATE SCHEMA ON DATABASE <destination_database> TO USER <openflow_service_user>;
   

   Show lessSee more

   Scroll to top

4. Erstellen Sie ein neues Warehouse oder verwenden Sie ein bestehendes Warehouse für den Konnektor.

   So erstellen Sie ein neues Warehouse:

   CopyExpand

   CREATE WAREHOUSE <openflow_warehouse>
   WITH
      WAREHOUSE_SIZE = 'MEDIUM'
      AUTO_SUSPEND = 300
      AUTO_RESUME = TRUE;
   GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO USER <openflow_service_user>;
   

   Show lessSee more

   Scroll to top

   Beginnen Sie mit dem Warehouse-Größe MEDIUM. Experimentieren Sie dann mit der Größe abhängig von der Menge der zu replizierenden Tabellen und der übertragenen Datenmenge.

   Um festzustellen, ob Sie die Größe erhöhen sollten, überwachen Sie den Konnektor und die Datenbank, während die Datenreplikation läuft. Wenn Sie erhebliche Verzögerungen bei der inkrementellen Replikation feststellen, experimentieren Sie mit einer größeren Warehouse-Größe. Eine große Anzahl von Tabellen können normalerweise besser mit Multi-Cluster-Warehouses und nicht anhand einer höheren Warehouse-Größe skaliert werden.

5. Erstellen Sie eine Integration für den externen Zugriff, um den Zugriff auf das Netzwerk außerhalb von Snowflake zu ermöglichen.

   Vorsicht

   Wenn Ihre Laufzeit in Openflow – BYOC ausgeführt wird, müssen Sie keine Integration für den externen Zugriff (EAI) erstellen. Konfigurieren Sie stattdessen den ausgehenden Datenverkehr Ihres Cloud-Netzwerks so, dass der TLS 443-Zugriff auf die unten aufgeführten Endpunkte möglich ist.

   Erforderliche Host:Port-Endpunkte sind unter Erforderliche Endpunkte aufgeführt.

   Damit der Konnektor die erforderliche Google-APIs von einer Snowflake-gehosteten Laufzeitumgebung aus aufrufen kann, müssen Sie eine Netzwerkregel und eine Integration für den externen Zugriff (EAI) erstellen. Erteilen Sie dann der Snowflake-Rolle die Nutzungsberechtigung für die EAI.

   Um die Integration für den externen Zugriff und die Netzwerkregel zu erstellen und den Zugriff zu gewähren, führen Sie die folgenden Schritte aus:

   1. Erstellen Sie eine Netzwerkregel, um dem Konnektor den Zugriff auf die erforderlichen Google-APIs zu ermöglichen:

      CopyExpand

      USE ROLE ACCOUNTADMIN;
      USE DATABASE <openflow_network_db>;
      
      CREATE OR REPLACE NETWORK RULE openflow_<runtime_name>_network_rule
        TYPE = HOST_PORT
        MODE = EGRESS
        VALUE_LIST = (
          'bigquery.googleapis.com:443',
          'bigquerystorage.googleapis.com:443',
          'oauth2.googleapis.com:443'
        );
      

      Show lessSee more

      Scroll to top

   2. Erstellen einer Integration für den externen Zugriff, die auf die Netzwerkregel verweist:

      CopyExpand

      CREATE OR REPLACE EXTERNAL ACCESS INTEGRATION openflow_<runtime_name>_eai
        ALLOWED_NETWORK_RULES = (openflow_<runtime_name>_network_rule)
        ENABLED = TRUE;
      

      Show lessSee more

      Scroll to top

   3. Zuweisen der USAGE-Berechtigung zur Ihrer Snowflake-Rolle für die Integration:

      CopyExpand

      GRANT USAGE ON INTEGRATION openflow_<runtime_name>_eai
        TO ROLE openflow_runtime_role_<runtime_name>;
      

      Show lessSee more

      Scroll to top

Konnektor installieren¶

Um den Konnektor zu installieren, gehen Sie als Data Engineer wie folgt vor:

1. Navigieren Sie zur Übersichtsseite von Openflow. Wählen Sie im Abschnitt Featured connectors die Option View more connectors aus.

2. Suchen Sie auf der Seite Openflow-Konnektoren den Konnektor und wählen Sie Add to runtime.

3. Wählen Sie im Dialogfeld Select runtime Ihre Laufzeitumgebung aus der Dropdown-Liste Available runtimes aus, und klicken Sie auf Add.

   Bemerkung

   Bevor Sie den Konnektor installieren, stellen Sie sicher, dass Sie in Snowflake eine Datenbank und ein Schema für den Konnektor erstellt haben, in dem die aufgenommenen Daten gespeichert werden.

4. Authentifizieren Sie sich bei der Bereitstellung mit den Anmeldedaten Ihres Snowflake-Kontos und wählen Sie Allow, wenn Sie dazu aufgefordert werden, damit die Laufzeitanwendung auf Ihr Snowflake-Konto zugreifen kann. Die Installation des Konnektors nimmt einige Minuten in Anspruch.

5. Authentifizieren Sie sich bei der Laufzeit mit den Anmeldeinformationen Ihres Snowflake-Kontos.

Das Openflow-Canvas wird mit der hinzugefügten Prozessgruppe des Konnektors angezeigt.

Konnektor konfigurieren¶

Um den Konnektor zu konfigurieren, führen Sie die folgenden Schritte aus:

1. Klicken Sie mit der rechten Maustaste auf die hinzugefügte Laufzeitumgebung, und wählen Sie Parameters aus.

2. Füllen Sie die erforderlichen Parameterwerte, wie unter Ablaufparameter angeben beschrieben.

Führen Sie den Ablauf aus¶

1. Klicken Sie mit der rechten Maustaste auf die Ebene, und wählen Sie Enable all Controller Services.

2. Klicken Sie mit der rechten Maustaste auf die importierte Prozessgruppe und wählen Sie Start. Der Konnektor startet die Datenaufnahme.

Nächste Schritte¶

• Informationen zu Aufgaben, die Sie nach der Installation des Konnektors ausführen können, finden Sie unter Konnektor verwenden.

• Informationen zur Überwachung des Ablaufs finden Sie unter Ablauf überwachen.