Einricht von Openflow Connector für SharePoint¶

Voraussetzungen¶

1. Stellen Sie sicher, dass Sie Allgemeine Informationen zu Openflow Connector for SharePoint gelesen haben.

2. Ensure that you have Openflow einrichten – BYOC or Set up Openflow - Snowflake Deployments.

3. If using Openflow - Snowflake Deployments, ensure that you’ve reviewed configuring required domains and have granted access to the required domains for the SharePoint connector.

Die Anmeldeinformationen erhalten¶

Führen Sie als SharePoint-Administrator die folgenden Aktionen durch:

1. Ensure that you have a Microsoft Graph application with the appropriate Microsoft Graph permissions based on your use case:

   For ACL connectors:

   1. Sites.Selected: schränkt den Zugriff nur auf bestimmte Websites ein.

   2. Files.SelectedOperations.Selected: schränkt den Zugriff nur auf Dateien in angegebenen Websites ein.

   3. GroupMember. Read.All: wird für die Auflösung von SharePoint-Gruppenberechtigungen verwendet.

   4. User.ReadBasic.All: wird für die Auflösung von Microsoft365-Benutzer-E-Mail–Adressen verwendet.

   For no-ACL connectors:

   1. Sites.Selected: schränkt den Zugriff nur auf bestimmte Websites ein.

   2. Files.SelectedOperations.Selected: schränkt den Zugriff nur auf Dateien in angegebenen Websites ein.

   Bemerkung

   No-ACL connectors do not fetch user permissions or group information, so they do not require the GroupMember.Read.All and User.ReadBasic.All permissions.

2. Configure SharePoint to enable OAuth authentication as described in Get access without a user. The connector uses the following Microsoft Graph APIs to fetch data from SharePoint:

   1. driveItem-Inhalt herunterladen

   2. driveItem-Metadaten abrufen

   3. driveItem: delta

   4. driveItem-Berechtigungsliste

   5. Gruppe: delta

   6. Liste der Gruppenmitglieder

   7. Benutzer abrufen

3. Rufen Sie die Website-URL Ihrer Microsoft 365 SharePoint-Website mit den Dateien oder Ordnern auf, die Sie in Snowflake aufnehmen möchten, sowie die Anmeldedaten von Ihrem Azure- oder Office 365-Kontoadministrator.

Snowflake-Konto einrichten¶

Als Administrator eines Snowflake-Kontos führen Sie die folgenden Aufgaben manuell oder mithilfe des unten aufgeführten Skripts aus:

1. Erstellen Sie eine neue Rolle oder verwenden Sie eine vorhandene Rolle und erteilen Sie die Berechtigungen von Datenbanken.

2. Erstellen Sie einen neuen Benutzer für den Snowflake-Dienst mit dem Typ SERVICE.

3. Weisen Sie dem Benutzer des Snowflake-Dienstes die Rolle zu, die Sie in den vorherigen Schritten erstellt haben.

4. Konfigurieren Sie mit Schlüsselpaar-Authentifizierung für den Snowflake SERVICE-Benutzer aus Schritt 2.

5. Snowflake empfiehlt diesen Schritt dringend. Konfigurieren Sie einen von Openflow unterstützten Geheimnismanager, z. B. AWS, Azure und Hashicorp, und speichern Sie die öffentlichen und privaten Schlüssel im Geheimnisspeicher.

   Bemerkung

   Wenn Sie aus irgendeinem Grund keinen Geheimnismanager verwenden möchten, sind Sie dafür verantwortlich, die für die Schlüsselpaar-Authentifizierung verwendeten öffentlichen und privaten Schlüsseldateien gemäß den Sicherheitsrichtlinien Ihrer Organisation zu schützen.

   1. Nachem der Geheimnismanager konfiguriert ist, legen Sie fest, wie Sie sich bei ihm authentifizieren möchten. Auf AWS wird empfohlen, die mit Openflow verknüpfte EC2-Instanzrolle zu verwenden, da auf diese Weise keine weiteren Geheimnisse gespeichert werden müssen.

   2. Konfigurieren Sie in Openflow über das Hamburger-Menü oben rechts einen Parameteranbieter, der mit diesem Secrets Manager verbunden ist. Navigieren Sie zu Controller Settings » Parameter Provider und rufen Sie dann Ihre Parameterwerte ab.

   3. Zu diesem Zeitpunkt können alle Anmeldeinformationen mit den zugehörigen Parameterpfaden referenziert werden, und es müssen keine sensiblen Werte innerhalb von Openflow aufbewahrt werden.

6. Wenn andere Snowflake-Benutzer Zugriff auf die vom Konnektor aufgenommenen Rohdokumente und -tabellen benötigen (z. B. für die benutzerdefinierte Verarbeitung in Snowflake), weisen Sie diesen Benutzern die in Schritt 1 erstellte Rolle zu.

7. Bestimmen Sie ein Warehouse, das der Konnektor verwenden soll. Beginnen Sie mit der kleinsten Warehouse-Größe und experimentieren Sie dann mit der Größe in Abhängigkeit von der Anzahl der zu replizierenden Tabellen und der Menge der übertragenen Daten. Große Tabellenzahlen lassen sich in der Regel besser mit Multi-Cluster-Warehouses skalieren als mit größeren Warehouse-Größen.

Use case 1: Ingest files only¶

Use a connector to:

• Ingest and continuously update Sharepoint files for custom processing within Snowflake

• Optionally ingest file permissions (ACL connectors) to persist access controls downstream

Use case 2: Ingest files and perform processing with Cortex¶

Verwenden Sie die vordefinierte Ablaufdefinition, um:

• Create AI assistants for documents within your organization’s SharePoint site

• Enable your AI assistants to adhere to access controls specified in your organization’s SharePoint site

Anwendungsfall 3: Anpassen der Konnektordefinition¶

Passen Sie die Definition des Anschlusses an, um:

• die aufgenommenen Dateien mit Document AI zu verarbeiten.

• benutzerdefinierte Verarbeitungen an importierten Dateien durchzuführen.

Aktivieren von SharePoint-Website-Gruppen¶

Abfrage des Cortex Search Service¶

Sie können den Cortex Search Service nutzen, um Chat- und Suchanwendungen zu erstellen, mit denen Sie mit Ihren Dokumenten in SharePoint chatten oder diese abfragen können.

Nachdem Sie den Konnektor installiert und konfiguriert haben, und er mit dem Aufnahme von Inhalten aus SharePoint beginnt, können Sie den Cortex Search Service abfragen. Weitere Informationen zur Verwendung von Cortex Search finden Sie unter Einen Cortex Search Service abfragen.

Antworten filtern

Um die Antworten des Cortex Search Service auf Dokumente zu beschränken, auf die ein bestimmter Benutzer in SharePoint Zugriff hat, können Sie bei der Abfrage der Cortex Search einen Filter angeben, der die Benutzer-ID oder die E-Mail-Adresse des Benutzers enthält. Beispiel: filter.@contains.user_ids oder filter.@contains.user_emails. Der Name des vom Konnektor erstellten Cortex Search Service lautet search_service im Schema Cortex.

Führen Sie den folgenden SQL-Code in einem SQL-Arbeitsblatt aus, um den Cortex Search Service mit Dateien abzufragen, die von Ihrer SharePoint-Website aufgenommen wurden.

Ersetzen Sie Folgendes:

• application_instance_name: Name Ihrer Datenbank und der Connector-Anwendungsinstanz.

• user_emailID: E-Mail-ID des Benutzers, für den Sie die Antworten filtern möchten.

• your_question: Die Frage, auf die Sie Antworten erhalten möchten.

• number_of_results: Maximale Anzahl der Ergebnisse, die in der Antwort zurückgegeben werden sollen. Der Höchstwert ist 1000 und der Standardwert ist 10.

SELECT PARSE_JSON(
  SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
    '<application_instance_name>.cortex.search_service',
      '{
        "query": "<your_question>",
         "columns": ["chunk", "web_url"],
         "filter": {"@contains": {"user_emails": "<user_emailID>"} },
         "limit": <number_of_results>
       }'
   )
)['results'] AS results

Hier finden Sie eine vollständige Liste der Werte, die Sie für columns eingeben können:

For all connectors:

For ACL connectors only:

Beispiel: Abfrage eines AI-Assistenten zu Personalinformationen (HR)

Mit Cortex Search können Sie einen AI-Assistenten für Mitarbeiter abfragen, um mit den neuesten Versionen von HR Informationen wie Onboarding, Verhaltenskodex, Teamprozesse und Organisationsrichtlinien zu chatten. Mithilfe von Antwortfiltern können Sie auch HR-Teammitgliedern die Abfrage von Mitarbeiterverträgen gestatten und dabei die in SharePoint konfigurierten Zugriffskontrollen einhalten.

SELECT PARSE_JSON(
     SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
          '<application_instance_name>.cortex.search_service',
          '{
             "query": "What is my vacation carry over policy?",
             "columns": ["chunk", "web_url"],
             "filter": {"@contains": {"user_emails": "<user_emailID>"} },
             "limit": 1
          }'
     )
 )['results'] AS results

import snowflake.snowpark as snowpark
from snowflake.snowpark import Session
from snowflake.core import Root

def main(session: snowpark.Session):

   root = Root(session)

   # fetch service
   my_service = (root
     .databases["<application_instance_name>"]
     .schemas["cortex"]
     .cortex_search_services["search_service"]
   )

   # query service
   resp = my_service.search(
     query="What is my vacation carry over policy?",
     columns = ["chunk", "web_url"],
     filter = {"@contains": {"user_emails": "<user_emailID>"} },
     limit=1
   )
   return (resp.to_json())

curl --location "https://<account_url>/api/v2/databases/<application_instance_name>/schemas/cortex/cortex-search-services/search_service" \
     --header 'Content-Type: application/json' \
     --header 'Accept: application/json' \
     --header "Authorization: Bearer <CORTEX_SEARCH_JWT>" \
     --data '{
         "query": "What is my vacation carry over policy?",
         "columns": ["chunk", "web_url"],
         "limit": 1
     }'

{
  "results" : [ {
  "web_url" : "https://<domain>.sharepoint.com/sites/<site_name>/<path_to_file>",
  "chunk" : "Answer to the question asked."
  } ]
}

Suchen von Dateien im Stagingbereich¶

Im Stagingbereich gespeicherte Dateien können unlesbare Namen haben. Um bestimmte Dateien zu finden, nutzen Sie die Metadatentabellen als Quelle der Wahrheit. Diese Tabellen enthalten die Zuordnung zwischen den Dateinamen und den entsprechenden Dateien-IDs im Stagingbereich.

Verwenden Sie für Cortex-aktivierte Konfigurationen die folgende Abfrage, um Dateien zu finden:

SELECT DISTINCT METADATA:id FROM DOCS_CHUNKS WHERE METADATA:fullName LIKE '%<file_name>%';

Für Nicht-Cortex-Konfigurationen verwenden Sie die folgende Abfrage:

SELECT FILE_ID FROM DOC_METADATA WHERE FILE_NAME = '<file_name>';

Ersetzen Sie <file_name> mit dem Namen oder einem Teil des Namens der Datei, nach der Sie suchen.

Die Dateien im Stagingbereich beginnen mit der ID, die von diesen Abfragen zurückgegeben wird.