Tutorial: Dokumentenverarbeitungspipeline mit Document AI erstellen¶

Lerninhalte¶

In diesem Tutorial erfahren Sie Folgendes:

• Einrichten der Objekte und Berechtigungen, die für die Verwendung von Document AI erforderlich sind.

• Erstellen eines Document AI-Modell-Builds unter Verwendung der Document AI-Benutzeroberfläche in Snowsight, um Daten aus unstrukturierten Dokumenten zu extrahieren.

• Erstellen einer Pipeline für die kontinuierliche Verarbeitung neuer Dokumente im Stagingbereich unter Verwendung eines Document AI-Modell-Builds sowie Streams und Tasks (Aufgaben).

Voraussetzungen¶

Die folgenden Voraussetzungen müssen erfüllt sein, um dieses Tutorial abzuschließen:

• Sie müssen sich als ein Benutzer mit der Rolle ACCOUNTADMIN verbinden, mit der Sie eine kundenspezifische Rolle erstellen, die in diesem Tutorial verwendet wird, und dieser neuen Rolle die erforderlichen Berechtigungen erteilen.

• Sie müssen über ein Snowflake-Konto in einer der kommerziellen Regionen verfügen, die für Document AI unterstützt werden. Weitere Informationen zu unterstützten Regionen finden Sie unter Document AI-Verfügbarkeit.

• Sie müssen ein Warehouse haben, das Sie mit Document AI nutzen können. Weitere Informationen zur Auswahl eines Warehouses finden Sie unter Bestimmen der optimalen Warehouse-Größe für Document AI.

Datenbank, Schema und kundenspezifische Rolle erstellen¶

Um eine Datenbank, ein Schema und eine Rolle für die Verwendung mit Document AI zu erstellen, gehen Sie wie folgt vor:

1. Erstellen Sie eine Datenbank und ein Schema, um ein Document AI-Modell-Build zu erstellen:

   CREATE DATABASE doc_ai_db;
   CREATE SCHEMA doc_ai_db.doc_ai_schema;
   

   Copy

2. Erstellen Sie die kundenspezifische Rolle doc_ai_role zur Vorbereitung des Document AI-Modell-Builds und zum Erstellen von Verarbeitungspipelines:

   USE ROLE ACCOUNTADMIN;
   
   CREATE ROLE doc_ai_role;
   

   Copy

Erforderliche Berechtigungen zuweisen¶

Um die Berechtigungen zu erteilen, die für die Verwendung mit Document AI erforderlich sind, gehen Sie wie folgt vor:

1. Weisen Sie der Rolle doc_ai_role die Datenbankrolle SNOWFLAKE.DOCUMENT_INTELLIGENCE_CREATOR zu:

   GRANT DATABASE ROLE SNOWFLAKE.DOCUMENT_INTELLIGENCE_CREATOR TO ROLE doc_ai_role;
   

   Copy

2. Erteilen Sie der Rolle doc_ai_role Berechtigungen für die Nutzung und Betrieb des Warehouses:

   GRANT USAGE, OPERATE ON WAREHOUSE <your_warehouse> TO ROLE doc_ai_role;
   

   Copy

3. Erteilen Sie der Rolle doc_ai_role die Berechtigungen zur Nutzung der Datenbank und des Schemas, die Sie erstellt haben:

   GRANT USAGE ON DATABASE doc_ai_db TO ROLE doc_ai_role;
   GRANT USAGE ON SCHEMA doc_ai_db.doc_ai_schema TO ROLE doc_ai_role;
   

   Copy

4. Erteilen Sie der Rolle doc_ai_role die Berechtigung zum Erstellen von Stagingbereichen, um die Dokumente für die Extraktion zu speichern:

   GRANT CREATE STAGE ON SCHEMA doc_ai_db.doc_ai_schema TO ROLE doc_ai_role;
   

   Copy

5. Erteilen Sie der Rolle doc_ai_role die Berechtigung, Modell-Builds (Instanzen der Klasse DOCUMENT_INTELLIGENCE) zu erstellen:

   GRANT CREATE SNOWFLAKE.ML.DOCUMENT_INTELLIGENCE ON SCHEMA doc_ai_db.doc_ai_schema TO ROLE doc_ai_role;
   

   Copy

6. Erteilen Sie der Rolle doc_ai_role die erforderlichen Berechtigungen, um eine Verarbeitungspipeline mit Streams und Aufgaben zu erstellen:

   GRANT CREATE STREAM, CREATE TABLE, CREATE TASK, CREATE VIEW ON SCHEMA doc_ai_db.doc_ai_schema TO ROLE doc_ai_role;
   GRANT EXECUTE TASK ON ACCOUNT TO ROLE doc_ai_role;
   

   Copy

7. Weisen Sie die Rolle doc_ai_role dem Benutzer des Tutorials für die Verwendung in den nächsten Schritten des Tutorials zu:

   GRANT ROLE doc_ai_role TO USER <your_user_name>;
   

   Copy

Zusammenfassung¶

In diesem Abschnitt haben Sie Folgendes gelernt:

• Erstellen der Datenbank und des Schemas, die ein Document AI-Modell-Build enthalten sollen.

• Erstellen der kundenspezifischen Rolle doc_ai_role.

• Erteilen der Rolle doc_ai_role die erforderlichen Berechtigungen und Zuweisen dieser Rolle zum Benutzer des Tutorials.

Document AI-Modell-Build erstellen¶

Um einen Document AI-Modell-Build zu erstellen, gehen Sie wie folgt vor:

1. Melden Sie sich bei Snowsight an.

2. Wählen Sie im Navigationsmenü die Option AI & ML » Document AI aus.

3. Wählen Sie ein Warehouse aus.

4. Wählen Sie + Build aus.

5. Geben Sie in dem daraufhin angezeigten Dialogfeld inspection_reviews als Namen für Ihren Modell-Build ein, und wählen Sie den Speicherort aus (Datenbank doc_ai_db und Schema doc_ai_schema).

6. Wählen Sie Create aus.

Dokumente in den Document AI-Modell-Build hochladen¶

Um Dokumente in den neu erstellten Document AI-Modell-Build hochzuladen, gehen Sie wie folgt vor:

1. Um die Dokumente zu erhalten, die Sie für das Tutorial zum Testen des Modell-Builds benötigen, laden Sie die ZIP-Datei in Ihr lokales Dateisystem herunter.

2. Entpacken Sie den Inhalt, der aus PDF-Dokumenten besteht.

3. Wählen Sie im Modell-Build inspection_reviews die Registerkarte Build Details aus.

4. Wählen Sie Upload documents aus.

5. Wählen Sie Browse aus, oder ziehen Sie die Dokumente, die Sie heruntergeladen haben.

6. Wählen Sie Upload aus.

Zusammenfassung¶

In diesem Abschnitt haben Sie Folgendes gelernt:

• Erstellen Sie einen Document AI-Modell-Build.

• Laden Sie Dokumente hoch, um den Document AI-Modell-Build zu testen.

Zusammenfassung¶

In diesem Abschnitt haben Sie Folgendes gelernt:

• Definieren Sie die zu extrahierenden Datenwerte, indem Sie dem Modell Fragen in natürlicher Sprache stellen.

• Überprüfen Sie die Ergebnisse, indem Sie die vom Modell gelieferten Antworten bestätigen oder korrigieren.

Zusammenfassung¶

In diesem Abschnitt haben Sie den Document AI-Modell-Build veröffentlicht, um den Modell-Build für die Extraktion in Verarbeitungspipelines zu verwenden.

Verarbeitungspipeline einrichten¶

1. Erstellen Sie einen internen my_pdf_stage Stagingbereich zum Speichern der Dokumente:

   CREATE OR REPLACE STAGE my_pdf_stage
     DIRECTORY = (ENABLE = TRUE)
     ENCRYPTION = (TYPE = 'SNOWFLAKE_SSE');
   

   Copy

2. Erstellen Sie einen Stream my_pdf_stream im Stagingbereich my_pdf_stage:

   CREATE STREAM my_pdf_stream ON STAGE my_pdf_stage;
   

   Copy

3. Aktualisieren Sie die Metadaten der Verzeichnistabelle, in dem die Staging-Dokumentdateien gespeichert werden:

   ALTER STAGE my_pdf_stage REFRESH;
   

   Copy

4. Geben Sie Datenbank und Schema an:

   USE DATABASE doc_ai_db;
   USE SCHEMA doc_ai_schema;
   

   Copy

5. Erstellen Sie eine Tabelle pdf_reviews, um die Informationen zu den Dokumenten (z. B. file_name) und die Daten, die aus den PDF-Dokumenten extrahiert werden sollen, zu speichern:

   CREATE OR REPLACE TABLE pdf_reviews (
     file_name VARCHAR,
     file_size VARIANT,
     last_modified VARCHAR,
     snowflake_file_url VARCHAR,
     json_content VARCHAR
   );
   

   Copy

   Die Spalte json_content enthält die extrahierten Informationen im JSON-Format.

6. Erstellen Sie eine Aufgabe load_new_file_data, um neue Dokumente im Stagingbereich zu verarbeiten:

   CREATE OR REPLACE TASK load_new_file_data
     WAREHOUSE = <your_warehouse>
     SCHEDULE = '1 minute'
     COMMENT = 'Process new files in the stage and insert data into the pdf_reviews table.'
   WHEN SYSTEM$STREAM_HAS_DATA('my_pdf_stream')
   AS
   INSERT INTO pdf_reviews (
     SELECT
       RELATIVE_PATH AS file_name,
       size AS file_size,
       last_modified,
       file_url AS snowflake_file_url,
       inspection_reviews!PREDICT(GET_PRESIGNED_URL('@my_pdf_stage', RELATIVE_PATH), 1) AS json_content
     FROM my_pdf_stream
     WHERE METADATA$ACTION = 'INSERT'
   );
   

   Copy

   Beachten Sie, dass neu erstellte Aufgaben automatisch im angehaltenen Zustand sind.

7. Starten Sie die neu erstellte Aufgabe:

   ALTER TASK load_new_file_data RESUME;
   

   Copy

Neue Dokumente in einen internen Stagingbereich hochladen¶

1. Um die Dokumente zu erhalten, die Sie für das Tutorial benötigen, laden Sie die ZIP-Datei in Ihr lokales Dateisystem herunter.

2. Entpacken Sie den Inhalt, der aus PDF-Dateien besteht.

3. Wählen Sie in Snowsight Data » Databases aus.

4. Wählen Sie die Datenbank doc_ai_db, das Schema doc_ai_schema und den Stagingbereich my_pdf_stage aus.

5. Wählen Sie + Files aus.

6. Wählen Sie im angezeigten Dialog Upload Your Files die Dateien aus, die Sie soeben heruntergeladen haben.

7. Wählen Sie Upload aus.

Extrahierte Informationen anzeigen¶

1. Nachdem Sie die Dokumente in den Stagingbereich hochgeladen haben, können Sie sich die aus den neuen Dokumenten extrahierten Informationen ansehen:

   SELECT * FROM pdf_reviews;
   

   Copy

2. Erstellen Sie eine Tabelle pdf_reviews_2, um die extrahierten Informationen in separaten Spalten zu analysieren:

   CREATE OR REPLACE TABLE doc_ai_db.doc_ai_schema.pdf_reviews_2 AS (
    WITH temp AS (
      SELECT
        RELATIVE_PATH AS file_name,
        size AS file_size,
        last_modified,
        file_url AS snowflake_file_url,
        inspection_reviews!PREDICT(get_presigned_url('@my_pdf_stage', RELATIVE_PATH), 1) AS json_content
      FROM directory(@my_pdf_stage)
    )
   
    SELECT
      file_name,
      file_size,
      last_modified,
      snowflake_file_url,
      json_content:__documentMetadata.ocrScore::FLOAT AS ocrScore,
      f.value:score::FLOAT AS inspection_date_score,
      f.value:value::STRING AS inspection_date_value,
      g.value:score::FLOAT AS inspection_grade_score,
      g.value:value::STRING AS inspection_grade_value,
      i.value:score::FLOAT AS inspector_score,
      i.value:value::STRING AS inspector_value,
      ARRAY_TO_STRING(ARRAY_AGG(j.value:value::STRING), ', ') AS list_of_units
    FROM temp,
      LATERAL FLATTEN(INPUT => json_content:inspection_date) f,
      LATERAL FLATTEN(INPUT => json_content:inspection_grade) g,
      LATERAL FLATTEN(INPUT => json_content:inspector) i,
      LATERAL FLATTEN(INPUT => json_content:list_of_units) j
    GROUP BY ALL
   );
   

   Copy

3. Zeigen Sie die Ausgabe an:

   SELECT * FROM pdf_reviews_2;
   

   Copy

Die Tabelle verwendet die Funktion FLATTEN, um den JSON-Inhalt in der Spalte json_content in einzelne Spalten aufzuteilen, damit sie einfacher angezeigt werden können.

Die Tabelle enthält die Datenwerte (z. B. inspection_grade_value, inspection_date_value), die beim Erstellen des Modell-Builds für Inspektionsdokumente definiert wurden, sowie die entsprechenden Konfidenzwerte (inspection_grade_score, inspection_date_score).

Zusammenfassung¶

In diesem Abschnitt haben Sie Folgendes gelernt:

• Erstellen Sie einen internen Stagingbereich zum Speichern neuer Dokumente.

• Erstellen Sie einen Stream und eine Aufgabe, die zur Vorbereitung einer Verarbeitungspipeline erforderlich sind.

• Laden Sie Dokumente in einen internen Stagingbereich hoch.

• Zeigen Sie die extrahierten Informationen in einer Tabelle an.

Zusätzliche Ressourcen¶

Setzen Sie die Einarbeitung mithilfe der folgenden Ressourcen fort:

• Verwenden von Document AI

• Fragenoptimierung zum Extrahieren von Informationen mit Document AI

• Dokumente für Document AI vorbereiten

• Einführung in Streams

• Einführung in Aufgaben

• Befehle für Streams und Aufgaben