Openflow Connector for Oracle installieren und konfigurieren

Bemerkung

Der Openflow Connector for Oracle unterliegt zusätzlichen Nutzungsbedingungen, die über die Standardnutzungsbedingungen für Konnektoren hinausgehen. Weitere Informationen dazu finden Sie unter Openflow Connector für Oracle-Zusatz.

Unter diesem Thema werden die Schritte zur Installation und Konfiguration des Openflow Connector for Oracle-Konnektors beschrieben.

Als Data Engineer führen Sie die folgenden Aufgaben aus, um den Konnektor zu installieren und zu konfigurieren:

Konnektor installieren

Um den Konnektor zu installieren, gehen Sie als Data Engineer wie folgt vor:

  1. Navigieren Sie zur Übersichtsseite von Openflow. Wählen Sie im Abschnitt Featured connectors die Option View more connectors aus.

  2. Suchen Sie auf der Seite Openflow-Konnektoren den Konnektor und wählen Sie Add to runtime.

  3. Wählen Sie im Dialogfeld Select runtime Ihre Laufzeitumgebung aus der Dropdown-Liste Available runtimes aus, und klicken Sie auf Add.

    Bemerkung

    Bevor Sie den Konnektor installieren, stellen Sie sicher, dass Sie in Snowflake eine Datenbank und ein Schema für den Konnektor erstellt haben, in dem die aufgenommenen Daten gespeichert werden.

  4. Authentifizieren Sie sich bei der Bereitstellung mit den Anmeldedaten Ihres Snowflake-Kontos und wählen Sie Allow, wenn Sie dazu aufgefordert werden, damit die Laufzeitanwendung auf Ihr Snowflake-Konto zugreifen kann. Die Installation des Konnektors nimmt einige Minuten in Anspruch.

  5. Authentifizieren Sie sich bei der Laufzeit mit den Anmeldeinformationen Ihres Snowflake-Kontos.

Das Openflow-Canvas wird mit der hinzugefügten Prozessgruppe des Konnektors angezeigt.

Konnektor konfigurieren

Um den Konnektor zu konfigurieren, gehen Sie als Data Engineer wie folgt vor:

  1. Klicken Sie mit der rechten Maustaste auf die hinzugefügte Laufzeitumgebung, und wählen Sie Parameters aus.

  2. Füllen Sie die erforderlichen Parameterwerte aus.

    Weitere Informationen zu den erforderlichen Parameterwerten finden Sie in den folgenden Abschnitten:

Snowflake-Zielparameter

Parameter

Beschreibung

Erforderlich

Destination Database

Die Datenbank, in der die Daten als persistent gespeichert werden. Sie muss bereits in Snowflake vorhanden sein. Beim Namen wird zwischen Groß- und Kleinschreibung unterschieden. Bei Bezeichnern ohne Anführungszeichen geben Sie den Namen in Großbuchstaben an.

Ja

Snowflake Authentication Strategy

Bei Verwendung von:

  • Snowflake Openflow-Bereitstellung oder BYOC: Verwenden Sie SNOWFLAKE_MANAGED_TOKEN. Dieses Token wird automatisch von Snowflake verwaltet. Für BYOC-Bereitstellungen müssen zuvor Laufzeitrollen konfiguriert sein, um SNOWFLAKE_MANAGED_TOKEN zu verwenden.

  • BYOC: Alternativ kann BYOC KEY_PAIR als Wert für die Authentifizierungsstrategie verwenden.

Ja

Snowflake Account Identifier

Bei Verwendung von:

  • Strategie für die Authentifizierung mit Sitzungstoken: Muss leer sein.

  • KEY_PAIR: Snowflake-Kontoname im Format [Organisationsname]-[Kontoname], wobei die Daten persistent gespeichert werden.

Ja

Snowflake-Verbindungsstrategie

Bei Verwendung von KEY_PAIR geben Sie die Strategie für die Verbindung zu Snowflake an:

  • STANDARD (Standard): Verbindung zu Snowflake-Services über standardmäßiges öffentliches Routing.

  • PRIVATE_CONNECTIVITY: Stellen Sie eine Verbindung über private Adressen her, die mit der unterstützenden Cloudplattform verbunden sind, wie z. B. AWS PrivateLink.

Nur erforderlich für BYOC mit KEY_PAIR, andernfalls wird dies ignoriert.

Snowflake Private Key

Bei Verwendung von:

  • Strategie für die Authentifizierung mit Sitzungstoken: Muss leer sein.

  • KEY_PAIR$RSA Muss der RSA private Schlüssel sein, der für die Authentifizierung verwendet wird.

    Der RSA-Schlüssel muss entsprechend den PKCS8-Standards formatiert sein und standardmäßige PEM-Header und Footer haben. Beachten Sie, dass entweder eine private Snowflake-Schlüsseldatei oder ein privater Snowflake-Schlüssel definiert werden muss.

Nein

Snowflake Private Key File

Bei Verwendung von:

  • Strategie für die Authentifizierung mit Sitzungstoken: Die private Schlüsseldatei muss leer sein.

  • KEY_PAIR$RSA Laden Sie die Datei hoch, die den RSA Private Key für die Authentifizierung bei Snowflake enthält, formatiert nach PKCS8-Standards und mit Standard-PEM-Header und -Footer. Die Kopfzeile beginnt mit -----BEGIN PRIVATE. Um die private Schlüsseldatei hochzuladen, wählen Sie das Kontrollkästchen Reference asset aus.

Nein

Snowflake Private Key Password

Bei Verwendung von

  • Strategie für die Authentifizierung mit Sitzungstoken: Muss leer sein.

  • KEY_PAIR: Geben Sie das Kennwort an, das mit der privaten Snowflake-Schlüsseldatei verbunden ist.

Nein

Snowflake Role

Bei Verwendung von

  • Strategie für die Authentifizierung mit Sitzungstoken: Verwenden Sie die Snowflake-Rolle, die der Laufzeitrolle oder der untergeordneten Rolle zugewiesen ist, die dieser Snowflake-Rolle zugewiesen wurde. Sie finden Ihre Snowflake-Laufzeitrolle in der Openflow-UI, indem Sie die Schaltfläche More Options [⋮] für Ihre Laufzeitumgebung erweitern und Set Snowflake role auswählen.

  • KEY_PAIR Authentifizierungsstrategie: Verwenden Sie eine gültige Rolle, die für Ihren Dienstbenutzer konfiguriert ist.

Ja

Snowflake-Benutzername

Bei Verwendung von

  • Strategie für die Authentifizierung mit Sitzungstoken: Muss leer sein.

  • KEY_PAIR$RSA Geben Sie den Benutzernamen an, der für die Verbindung mit der Snowflake-Instanz verwendet wird.

Ja

Mehrwert-Strategie

Legt fest, wie der Konnektor Werte verarbeitet, die seine internen Größenbeschränkungen (16 MB) während der Replikation überschreiten. Mögliche Werte sind:

  • Fail Table (Standard): Die Tabelle wird als dauerhaft fehlgeschlagen markiert, und die Replikation für diese Tabelle wird angehalten.

  • Set Null: Der Wert wird durch NULL in der Zieltabelle ersetzt. Verwenden Sie dies, um Tabellenfehler zu verhindern, wenn es akzeptabel ist, Daten in Tabellen zu verlieren, die über den übergroßen Wert hinausgehen.

Nein

Snowflake Warehouse

Snowflake Warehouse, das für die Ausführung von Abfragen verwendet wird.

Ja

Parameter für die Oracle-Aufnahme

Parameter

Beschreibung

Included Table Names

Durch Kommas getrennte Liste mit vollqualifizierten Tabellenpfaden. Tabellen müssen in einem vollqualifizierten Format für die Datenbank, das Schema und den Tabellennamen angegeben werden: DATABASE_NAME.SCHEMA_NAME.TABLE_NAME.

Beispiel: MYPDB.SALES.CUSTOMERS, MYPDB.SALES.ORDERS

Included Table Regex

Ein regulärer Ausdruck zum Abgleichen von Tabellenpfaden für die automatische Einbeziehung bestehender und neuer Tabellen. Das Regex-Muster muss der dreiteiligen Namenskonvention entsprechen: DATABASE_NAME.SCHEMA_NAME.TABLE_NAME.

Beispiel: MYPDB\.SALES\..*, um mit allen Tabellen im Schema SALES innerhalb der MYPDB-Datenbank übereinzustimmen.

Filter JSON

Ein JSON-Array, um bestimmte Spalten basierend auf einem Regex-Muster für bestimmte Tabellen einzufügen.

Merge Task Schedule CRON

Ein CRON-Ausdruck, um festzulegen, wann Zusammenführungsoperationen vom Journal zur Zieltabelle ausgelöst werden. Beispiel: * * * * * ? für die kontinuierliche Zusammenführung.

Auflösung des Objektbezeichners

Gibt an, wie Quellobjektbezeichner wie Schemas, Tabellen und Spaltennamen in Snowflake gespeichert und abgefragt werden. Diese Einstellung legt fest, ob Sie doppelte Anführungszeichen in SQL-Abfragen verwenden müssen.

Option 1: Standard ist die Beachtung der Groß- und Kleinschreibung (empfohlen).

  • Transformation: Alle Bezeichner werden in Großbuchstaben umgewandelt. Beispiel: My_Table wird zu MY_TABLE.

  • Abfragen: SQL-Abfragen unterscheiden nicht zwischen Groß- und Kleinschreibung und benötigen keine doppelten SQL-Anführungszeichen.

    Beispiel: SELECT * FROM my_table; gibt die gleichen Ergebnisse zurück wie SELECT * FROM MY_TABLE;.

Bemerkung

Snowflake empfiehlt die Verwendung dieser Option, wenn Datenbankobjekte keine Namen mit gemischter Groß-/Kleinschreibung haben.

Option 2: Groß-/Kleinschreibung wird berücksichtigt.

  • Transformation: Die Groß-/Kleinschreibung bleibt erhalten. Beispiel: My_Table bleibt My_Table.

  • Abfragen: SQL-Abfragen müssen doppelte Anführungszeichen verwenden, um der genauen Schreibweise von Datenbankobjekten zu entsprechen. Beispiel: SELECT * FROM "My_Table";.

Wichtig

Ändern Sie diese Einstellung nicht, nachdem die Datenaufnahme des Konnektors begonnen hat. Das Ändern dieser Einstellung nach Beginn der Datenaufnahme führt zum Abbruch der bestehenden Datenaufnahme. Wenn Sie diese Einstellung ändern müssen, erstellen Sie eine neue Konnektorinstanz.

Strategie für das Abrufen von Snapshots

Legt die Strategie für das Abrufen des Snapshot-Ladens fest:

  • SEQUENTIAL_BY_PRIMARY_KEY (Standard): Verwendet Batches mit fester Größe, die sequenziell über den Primärschlüssel abgerufen werden.

  • CONCURRENT_BY_ROWID: Teilt Tabellen in Blöcke auf, die durch Bereiche von physischen Zeilen-IDs gebunden sind, und ruft jeden Block parallel ab.

Oracle-Quellparameter

Parameter

Beschreibung

Erforderlich

URL für die Oracle-Verbindung

JDBC-URL der Datenbankverbindung mit der DB. Die URL muss den Zielcontainer (PDB oder CDB) angeben, der die zu replizierenden Daten enthält. Beispiel: jdbc:oracle:thin@<host>:<port>/YOUR_DB_NAME, wobei YOUR_DB_NAME der Name Ihrer PDB oder CDB ist.

Bemerkung

Der Konnektor funktioniert innerhalb einer einzelnen Datenbank/eines einzelnen Containers. Stellen Sie sicher, dass die JDBC-URL direkt auf den Container verweist, der die zu replizierenden Tabellen enthält.

Ja

Oracle-Benutzername

Benutzername des Benutzenden für die Verbindung, der Zugriff auf den XStream-Server hat.

Ja

Oracle-Kennwort

Kennwort des Benutzenden für die Verbindung, der Zugriff auf den XStream-Server hat.

Ja

Multiplikator des Oracle-Datenbankprozessors

Kernprozessor-Lizenzfaktor wie in der Oracle Processor Core Factor Table beschrieben

Nur für eingebettete Lizenz erforderlich

Oracle-Datenbank-Prozessorkerne

Die Anzahl der Prozessorkerne in Ihrer Oracle Datenbank.

Nur für eingebettete Lizenz erforderlich

XStream-Abrechnungsbestätigung

Eine Bestätigung der Lizenzvereinbarung

Nur für eingebettete Lizenz erforderlich

Name des XStream-Ausgabeservers

Der Name des XStream-Servers, der bereits in Oracle vorhanden sein muss.

Ja

XStream-Ausgabeserver-URL

Die JDBC-URL der Datenbankverbindung für XStream muss den OCI-Treiber verwenden. Beispiel: jdbc:oracle:oci:@<host>:<port>/SID.

Ja

Replikation der Tabellen neu starten

Eine Tabelle in FAILED-Status – z. B. aufgrund eines fehlenden Primärschlüssels oder einer nicht unterstützten Schemaänderung – wird nicht automatisch neu gestartet. Wenn eine Tabelle in einen FAILED-Status übergeht oder Sie die Replikation von Grund auf neu starten müssen, gehen Sie wie folgt vor, um die Tabelle zu entfernen und zur Replikation erneut hinzuzufügen.

Bemerkung

Wenn der Fehler durch ein Problem in der Quelltabelle verursacht wurde, z. B. durch einen fehlenden Primärschlüssel, beheben Sie dieses Problem in der Quelldatenbank, bevor Sie fortfahren.

  1. Die Tabelle aus den Ablaufparametern entfernen: Entfernen Sie im Kontext der Datenaufnahmeparameter entweder die Tabelle aus Included Table Names, oder ändern Sie Included Table Regex so, dass die Tabelle nicht mehr übereinstimmt.

  2. Überprüfen, ob die Tabelle entfernt wurde:

    1. Klicken Sie in der Openflow-Laufzeitoberfläche mit der rechten Maustaste auf eine Prozessorgruppe, und wählen Sie Controller Services.

    2. Suchen Sie in der Tabelle mit den Controllerdiensten die Zeile Table State Store, klicken Sie auf die drei vertikalen Punkte rechts von der Zeile, und wählen Sie dann View State aus.

    Wichtig

    Sie müssen warten, bis der Status der Tabelle vollständig aus dieser Liste entfernt wurde, bevor Sie fortfahren können. Fahren Sie nicht fort, bis diese Konfigurationsänderung abgeschlossen ist.

  3. Ziel bereinigen: Sobald der Status der Tabelle als „vollständig entfernt“ angezeigt wird, DROP Sie die Zieltabelle manuell in Snowflake. Beachten Sie, dass der Konnektor während der Snapshot-Phase keine vorhandene Zieltabelle überschreibt. Wenn die Tabelle noch existiert, schlägt die Replikation erneut fehl. Optional können die Journaltabelle und der Stream auch entfernt werden, wenn sie nicht mehr benötigt werden.

  4. Fügen Sie die Tabelle erneut hinzu: Aktualisieren Sie den Parameter Included Table Names oder Included Table Regex so, dass die Tabelle wieder eingeschlossen wird.

  5. Neustart überprüfen: Überprüfen Sie den Table State Store unter Verwendung der zuvor angegebenen Anweisungen. Der Status der Tabelle sollte mit dem Status NEW angezeigt werden, dann in SNAPSHOT_REPLICATION übergehen und schließlich in INCREMENTAL_REPLICATION.

Führen Sie den Ablauf aus

  1. Klicken Sie mit der rechten Maustaste auf die Ebene, und wählen Sie Enable all Controller Services.

  2. Klicken Sie mit der rechten Maustaste auf die importierte Prozessgruppe und wählen Sie Start. Der Konnektor startet die Datenaufnahme.

Nächste Schritte