Einrichten von Openflow Connector for Snowflake to Kafka¶

Voraussetzungen¶

1. Stellen Sie sicher, dass Sie Allgemeine Informationen zu Openflow Connector for Snowflake to Kafka gelesen haben.

2. Stellen Sie sicher, dass Sie Openflow eingerichtet haben.

3. Erstellen Sie einen Snowflake-Stream, der nach den Änderungen abgefragt werden soll.

4. Erstellen Sie ein Kafka-Thema, das CDC-Meldungen aus dem Snowflake-Stream empfangen wird.

Snowflake-Konto einrichten¶

Als Snowflake-Kontoadministrator führen Sie die folgenden Aufgaben aus:

1. Erstellen Sie die Datenbank, die Quelltabelle und das Stream-Objekt, die der Konnektor zum Lesen von CDC-Ereignissen verwenden soll. Beispiel:

   create database stream_db;
   use database stream_db;
   create table stream_source (user_id varchar, data varchar);
   create stream stream_on_table on table stream_source;
   

   Copy

2. Erstellen Sie eine neue Rolle oder verwenden Sie eine vorhandene Rolle, und gewähren Sie die SELECT-Berechtigung für den Stream und das Quellobjekt für den Stream. Der Konnektor benötigt außerdem die USAGE-Berechtigung für die Datenbank und das Schema, die den Stream und das Quellobjekt für den Stream enthalten. Beispiel:

   create role stream_reader;
   grant usage on database stream_db to role stream_reader;
   grant usage on schema stream_db.public to role stream_reader;
   grant select on stream_source to role stream_reader;
   grant select on stream_on_table to role stream_reader;
   

   Copy

3. Erstellen Sie einen neuen Benutzer für den Snowflake-Dienst mit dem Typ SERVICE. Beispiel:

   create user stream_user type = service;
   

   Copy

4. Weisen Sie dem Benutzer des Snowflake-Dienstes die Rolle zu, die Sie in den vorherigen Schritten erstellt haben. Beispiel:

   grant role stream_reader to user stream_user;
   

   Copy

5. Konfigurieren Sie mit Schlüsselpaar-Authentifizierung für den Snowflake SERVICE-Benutzer aus Schritt 3.

6. Snowflake empfiehlt diesen Schritt dringend. Konfigurieren Sie einen von Openflow unterstützten Geheimnismanager, z. B. AWS, Azure und Hashicorp, und speichern Sie die öffentlichen und privaten Schlüssel im Geheimnisspeicher. Beachten Sie jedoch, dass der in Schritt 4 erzeugte private Schlüssel direkt als Konfigurationsparameter für die Konfiguration des Konnektors verwendet werden kann. In diesem Fall wird der private Schlüssel in der Openflow-Laufzeitkonfiguration gespeichert.

   Bemerkung

   Wenn Sie aus irgendeinem Grund keinen Geheimnismanager verwenden möchten, sind Sie dafür verantwortlich, die für die Schlüsselpaar-Authentifizierung verwendeten öffentlichen und privaten Schlüsseldateien gemäß den Sicherheitsrichtlinien Ihrer Organisation zu schützen.

   1. Nachem der Geheimnismanager konfiguriert ist, legen Sie fest, wie Sie sich bei ihm authentifizieren möchten. Auf AWS wird empfohlen, die mit Openflow verknüpfte EC2-Instanzrolle zu verwenden, da auf diese Weise keine weiteren Geheimnisse gespeichert werden müssen.

   2. Konfigurieren Sie in Openflow einen mit diesem Geheimnismanager verknüpften Parameter Provider über das Hamburger-Menü oben rechts. Navigieren Sie zu Controller Settings » Parameter Provider, und rufen Sie Ihre Parameterwerte ab.

   3. Zu diesem Zeitpunkt können alle Anmeldeinformationen mit den zugehörigen Parameterpfaden referenziert werden, und es müssen keine sensiblen Werte innerhalb von Openflow aufbewahrt werden.

7. Bestimmen Sie ein Warehouse, das der Konnektor verwenden soll. Ein Konnektor kann eine einzelne Tabelle in ein einzelnes Kafka-Thema replizieren. Für diese Art der Verarbeitung können Sie das kleinste Warehouse wählen.

Einrichten des Konnektors¶

Als Data Engineer führen Sie die folgenden Aufgaben aus, um einen Konnektor zu installieren und zu konfigurieren:

1. Navigieren Sie zur Openflow-Übersichtsseite. Wählen Sie im Abschnitt Featured connectors die Option View more connectors aus.

2. Suchen Sie auf der Seite „Openflow Connectors“ den Konnektor und wählen Sie ihn aus, je nachdem, mit welcher Art von Kafka-Broker-Instanz der Konnektor kommunizieren soll.

   • mTLS-Version: Wählen Sie diesen Konnektor, wenn Sie das SSL-Sicherheitsprotokoll (mutual TLS) verwenden, oder wenn Sie das SASL_SSL-Protokoll verwenden und eine Verbindung zu einem Broker herstellen, der selbstsignierte Zertifikate verwendet.

   • SASL-Version: Wählen Sie diesen Konnektor, wenn Sie ein anderes Sicherheitsprotokoll verwenden.

3. Wählen Sie Add to runtime aus.

4. Wählen Sie im Dialog Select runtime Ihre Laufzeit aus der Dropdown-Liste Available runtimes aus.

5. Wählen Sie Add aus.

6. Authentifizieren Sie sich bei der Bereitstellung mit den Anmeldedaten Ihres Snowflake-Kontos und wählen Sie Allow, wenn Sie dazu aufgefordert werden, damit die Laufzeitanwendung auf Ihr Snowflake-Konto zugreifen kann. Die Installation des Konnektors nimmt einige Minuten in Anspruch.

7. Authentifizieren Sie sich bei der Laufzeit mit den Anmeldeinformationen Ihres Snowflake-Kontos.

   Das Openflow-Canvas wird mit der hinzugefügten Prozessgruppe des Konnektors angezeigt.

8. Klicken Sie mit der rechten Maustaste auf die importierte Prozessgruppe und wählen Sie Parameters.

9. Geben Sie die erforderlichen Parameterwerte ein, wie unter Ablaufparameter beschrieben.

Führen Sie den Ablauf aus¶

1. Klicken Sie mit der rechten Maustaste auf die Ebene, und wählen Sie Enable all Controller Services.

2. Klicken Sie mit der rechten Maustaste auf die importierte Prozessgruppe und wählen Sie Start. Der Konnektor startet die Datenaufnahme.