Openflow Connector for Salesforce Bulk API: Konnektor konfigurieren¶
Bemerkung
Dieser Connector unterliegt den `Nutzungsbedingungen für Snowflake Connector<https://www.snowflake.com/legal/snowflake-connector-terms/>`_.
Unter diesem Thema werden die Schritte zur Konfiguration des Openflow Connector for Salesforce Bulk API beschrieben.
Konnektor installieren¶
Führen Sie die folgenden Schritte aus, um den Openflow Connector for Salesforce Bulk API in einer Openflow-Laufzeitumgebung zu installieren:
Navigieren Sie zur Openflow-Seite Overview. Wählen Sie im Abschnitt Featured connectors die Option View more connectors aus.
Suchen Sie auf der Seite für Openflow-Konnektoren Openflow connector for Salesforce Bulk API und wählen Sie Add to runtime aus.
Wählen Sie im Dialogfeld Select runtime Ihre Laufzeitumgebung aus der Dropdown-Liste Available runtimes aus.
Das Openflow-Canvas wird mit der hinzugefügten Prozessgruppe des Konnektors angezeigt.
Konnektor konfigurieren¶
Um den Konnektor zu konfigurieren, führen Sie die folgenden Schritte aus:
Klicken Sie mit der rechten Maustaste auf die importierte Prozessgruppe und wählen Sie Parameters.
Füllen Sie die erforderlichen Parameterwerte aus, wie in der Tabelle unten beschrieben.
Parameter |
Beschreibung |
|---|---|
Strategie zur Entfernung von Spalten |
Definiert die Strategie, die angewendet werden soll, wenn eine Spalte in der Zieltabelle auf der Grundlage des letzten empfangenen Schemas entfernt werden soll. Drei mögliche Werte:
|
Connected App Key |
Kopieren Sie den Inhalt der Datei |
Schlüsseldatei für verbundene App |
Sie können die Datei |
Kennwort für den Schlüssel der verbundenen App |
Kennwort, das während der Salesforce-Einrichtung für die private Schlüsseldatei festgelegt wurde. |
Destination Database |
Name der Datenbank in Snowflake, in die die Salesforce-Daten repliziert werden. Die Datenbank muss vor dem Starten des Konnektors vorhanden sein. |
Destination Schema |
Name des Schemas in der obigen Datenbank, in dem der Konnektor Tabellen für die hinzuzufügenden Salesforce-Daten erstellt. Das Schema muss vor dem Starten des Konnektors vorhanden sein. |
Filter |
Durch Kommas getrennte Liste von Objekten, die von Salesforce repliziert werden sollen, oder regulärer Ausdruck, der auf alle vorhandenen Objekte angewendet wird. Beispiel: Bemerkung Wenn das Feld leer ist, werden alle Objekte repliziert. Dies wird nicht empfohlen, da eine Salesforce-Instanz normalerweise Tausende von Objekten enthält. |
Incremental Offload |
Gibt an, ob der Prozessor eine inkrementelle Auslagerung ausführen soll. Bei |
Initial Load Chunking |
Wenn der Parameter auf einen anderen Wert als Dies ist nützlich bei großen Datasets, bei denen das Laden aller historischen Daten in einer einzigen Abfrage zu einem Timeout führen und API-Limits oder die Speicherkapazität des Content-Repositorys der Laufzeitumgebung übersteigen kann. Sobald der Vorgang abgeschlossen ist, fährt der Prozessor mit dem normalen inkrementellen Offset-Verhalten fort. |
OAuth2 Audience |
Zielgruppe, die im JWT-Token festgelegt wird. Dieser Wert ist normalerweise auf |
OAuth2 Client ID |
Sollte auf den Wert für Consumer Key gesetzt sein, der während der Salesforce Setup-Schritte abgerufen wurde. |
OAuth2 Subject |
Sollte auf den Benutzernamen eines von einer Person mit Administratorrechten zugelassenen Benutzenden für die Anwendung zur Interaktion mit Salesforce-APIs im Namen dieses Benutzenden eingestellt werden. |
OAuth2 Token Endpoint URL |
Endpunkt zum Aushandeln von Token über den JWT-Bearer-Ablauf. Beispiel: |
Objektfelder-Filter JSON |
Ein JSON, das pro Salesforce-Objekt festlegt, welche Felder und Feldmuster ein- oder ausgeschlossen werden sollen. Hat die Form eines Arrays mit einem Element pro Objekt. Beispiel 1: Dies schließt alle Felder ein, die im Salesforce-Objekt „Account“ mit „name“ enden:
Beispiel 2: Dazu gehören die Felder „Id“, „Name“ und „Revenue“ im Salesforce-Objekt „Account“:
|
Auflösung des Objektbezeichners |
Legt fest, ob bei Schema-, Tabellen- und Spaltennamen zwischen Groß- und Kleinschreibung unterschieden oder dies ignoriert wird. Eine der folgenden Optionen: Bemerkung Das Ändern dieses Parameterwerts erfordert ein Löschen des Status und ein vollständiges Neuladen aller Objekte. |
Entferntes Spaltennamensuffix |
Suffix, das dem Spaltennamen hinzugefügt wurde, wenn der Parameter Column Removal Strategy auf |
Run Schedule |
Häufigkeit, mit der der Konnektor über den Filter-Parameter in Salesforce nach Aktualisierungen für konfigurierte Objekte sucht. Standard: |
Salesforce-Instanz |
Hostname der Salesforce-Instanz, einschließlich des Domänennamens. Fügen Sie nicht das Protokollpräfix hinzu ( |
Snowflake Account Identifier |
Snowflake-Kontoname im Format |
Snowflake-Benutzername |
Der Name des Dienstbenutzenden, mit dem der Konnektor eine Verbindung zu Snowflake herstellt. Der Dienstbenutzende ist nur erforderlich, wenn Sie die |
Snowflake Private Key |
Der RSA Private Key, den der Konnektor für die Authentifizierung bei Snowflake verwendet, formatiert nach PKCS8-Standards und mit Standard-PEM-Header und -Footer. Der Header beginnt mit Sie können auch den nächsten Parameter verwenden, wenn Sie stattdessen den privaten Schlüssel in die Openflow-Laufzeitumgebung hochladen möchten. |
Snowflake Private Key File |
Die Datei, die den RSA Private Key für die Authentifizierung bei Snowflake enthält, formatiert nach PKCS8-Standards und mit Standard-PEM-Header und -Footer. Der Header beginnt mit Aktivieren Sie das Kontrollkästchen Reference asset, um die private Schlüsseldatei hochzuladen und sicher in der Openflow-Laufzeitumgebung zu speichern. |
Snowflake Private Key Password |
Das Kennwort, das mit der privaten Snowflake-Schlüsseldatei (falls verschlüsselt) verbunden ist. Dieser Parameter ist nur erforderlich, wenn Sie die |
Snowflake Role |
Name der Snowflake-Rolle, die während der Ausführung der Abfrage verwendet wird. Bei Verwendung von |
Snowflake Authentication Strategy |
Authentifizierungsstrategie für den Konnektor zur Verbindung mit Snowflake. Bei Verwendung von |
Snowflake Warehouse |
Das Snowflake-Warehouse, das für die Ausführung von Abfragen verwendet wird. |
Special Objects Filter |
Durch Kommas getrennte Liste von Objekten, die (mithilfe von direktem API-Zugriff) von Salesforce ausgelagert werden sollen, oder regulärer Ausdruck, der auf alle vorhandenen Objekte angewendet wird. Dieser Filter sollte nur für Objekte verwendet werden, die nicht von der Salesforce Bulk API unterstützt werden, wie z. B. Wissensdaten. Dieser Parameter darf sich nicht mit dem Parameter Filter überschneiden. Beispiel: |
Konnektor ausführen¶
Führen Sie die folgenden Schritte aus, um den Konnektor zu starten und mit der Replikation von Daten von Salesforce in Snowflake zu beginnen:
Klicken Sie mit der rechten Maustaste auf einen leeren Bereich im Arbeitsbereich, und wählen Sie Enable all Controller Services aus.
Klicken Sie mit der rechten Maustaste auf die Prozessgruppe des Konnektors, und wählen Sie Start aus.
Verwalten der Objektreplikation¶
Nachdem der Konnektor gestartet und die Objekte repliziert wurden, können Sie neue Objekte hinzufügen oder vorhandene Objekte aus der Replikation entfernen.
Hinzufügen neuer Objekte zur Replikation¶
Um ein neues Objekt zur Replikation hinzuzufügen, aktualisieren Sie den:ui:Filter-Parameter (oder:ui:Special Objects Filter-Parameter, falls zutreffend) mit den neuen Objektnamen. Sie müssen den Konnektor nicht anhalten. Das neue Objekt wird bei der nächsten geplanten Ausführung repliziert.
Wenn der aktuelle Filter-Wert beispielsweise Account, Opportunity ist und Sie das Contact-Objekt hinzufügen möchten, ändern Sie den Wert in``Account, Opportunity, Contact``.
Entfernen von Objekten aus der Replikation¶
Um ein Objekt aus der Replikation zu entfernen, muss der Konnektor angehalten und sowohl der Status des Konnektors als auch die Zieltabelle in Snowflake bereinigt werden:
Stoppen Sie alle Prozessoren im Ablauf, indem Sie mit der rechten Maustaste auf die Konnektor-Prozessgruppe klicken und Stop auswählen.
Stellen Sie sicher, dass keine FlowFiles, die in der Schwebe sind, verarbeitet werden.
Klicken Sie mit der rechten Maustaste auf die Ansicht und wählen Sie Parameters aus. Entfernen Sie dann den Objektnamen aus dem:ui:
Filter-Parameter (oder:ui:Special Objects Filter-Parameter, falls zutreffend).Klicken Sie mit der rechten Maustaste auf den Ansichtsbereich, und wählen Sie Disable all controller services aus.
Wechseln Sie zu Controller services, und öffnen den Status des Controller-Dienstes namens Salesforce Bulk Jobs State.
Wählen Sie das Papierkorb-Symbol neben dem Objekttyp, den Sie entfernt haben, um seinen Statuseintrag zu löschen.
Klicken Sie mit der rechten Maustaste auf die Ansicht und wählen Sie Enable all controller services aus. Starten Sie dann alle Prozessoren, um den Konnektor fortzusetzen.
Löschen Sie ggf. die entsprechende Tabelle aus der Snowflake-Zieldatenbank, um die zuvor replizierten Daten zu bereinigen. Beispiel:
DROP TABLE <database_name>.<schema_name>.<object_name>;
Nächste Schritte¶
Informationen zum Überwachen und zur Fehlerbehebung des Konnektors finden Sie unter Openflow Connector for Salesforce Bulk API: Problembehandlung.