Übersicht über Cortex Parse¶

So funktioniert Parse Document¶

Die Funktion PARSE_DOCUMENT bietet die Modi OCR (Standard) und LAYOUT für die Verarbeitung von PDF-Dokumenten.

• Der Modus PARSE_DOCUMENT OCR (Standard) ist für die Textextraktion aus textlastigen Dokumenten optimiert. Dies ist die empfohlene Option für eine schnelle, einfache und effektive Textextraktion aus Dokumenten, die keine starke semantische Struktur aufweisen.

• Der ModusPARSE_DOCUMENT LAYOUT (optional) ist für das Extrahieren von Text und Layout-Elementen wie Tabellen optimiert. Dies ist die empfohlene Option zur Verbesserung des Kontexts einer Dokument-Wissensdatenbank, um die Abrufinformationssystemen und die Inferenz des Large Language Model (LLM) zu optimieren. Sie können zum Beispiel Textabschnitte mithilfe von LAYOUT-Elementen isolieren, um Entitäten gezielter zu extrahieren.

Parse Document verwenden¶

Die Cortex-Funktion PARSE_DOCUMENT ist eine SQL-Funktion. Da es vollständig von Snowflake gehostet und verwaltet wird, ist für die Nutzung kein Setup erforderlich. Das bedeutet, dass Sie die Funktion PARSE_DOCUMENT auf einen Stagingbereich verweisen kann, in dem PDF-Dokumente gespeichert sind, um Text- oder Layoutdaten zu extrahieren. Das folgende Beispiel extrahiert die Text- und Layoutinformationen aus der Datei document_1.pdf im documents-Stagingbereich in der Datenbank parse_document und im Schema demo.

SELECT
  SNOWFLAKE.CORTEX.PARSE_DOCUMENT(
    @parse_document.demo.documents,
    'document_1.pdf',
    {'mode': 'LAYOUT'}
  ) AS layout;

PARSE_DOCUMENT unterstützt die Verarbeitung von Dokumenten, die in einem internen Snowflake-Stagingbereich oder einem externen Stagingbereich gespeichert sind. Bei der Erstellung Ihres Stagingbereichs ist Serverseitige Verschlüsselung erforderlich. Andernfalls gibt PARSE_DOCUMENT einen Fehler zurück, der besagt, dass die bereitgestellte Datei nicht das erwartete Format hat oder auf der Clientseite verschlüsselt ist.

CREATE STAGE input_stage
    DIRECTORY = ( ENABLE = true )
    ENCRYPTION = ( TYPE = 'SNOWFLAKE_SSE' );

Eingabeanforderungen¶

Die Cortex-Funktion PARSE_DOCUMENT ist derzeit für Dokumente optimiert, die digital erstellt und nicht von einem Papierdokument gescannt wurden. In der folgenden Tabelle sind die Beschränkungen und Anforderungen für das Eingabedokument aufgeführt:

Schlüsselfunktionalität¶

Regionale Verfügbarkeit¶

Dieses Feature ist für Konten in den folgenden Snowflake Regionen verfügbar:

Anforderungen an die Zugriffssteuerung¶

Um die Funktion PARSE_DOCUMENT zu verwenden, muss ein Benutzer mit der Rolle ACCOUNTADMIN dem Benutzer, der die Funktion aufruft, die Datenbankrolle SNOWFLAKE.CORTEX_USER erteilen. Siehe Erforderliche Berechtigungen für weitere Informationen.

Hinweise zu Kosten¶

Für die Cortex-Funktion PARSE_DOCUMENT fallen während dieser Vorschau keine Kosten für die Verarbeitung von Dokumenten an. Eine spätere Abrechnung, die mit der Verarbeitung der Dokumente einhergeht, wird erwartet.

Auch wenn während der Vorschau keine Kosten für Berechnungen anfallen, müssen Sie ein Warehouse für die Ausführung der Abfrage wählen, die die Funktion aufruft. Snowflake empfiehlt, dass Sie Abfragen, die die Cortex-PARSE_DOCUMENT-Funktion aufrufen, mit einem kleineren Warehouse (nicht größer als MEDIUM) ausführen, da größere Warehouses die Leistung nicht erhöhen.

Fehlerbedingungen¶

Snowflake Cortex PARSE_DOCUMENT kann die folgenden Fehlermeldungen erzeugen:

Einbindung von PARSE_DOCUMENT in RAG-Pipelines¶

Retrieval Augmented Generation (RAG) ist eine Technik zum Abrufen von Daten aus einer Wissensdatenbank, um die generierte Antwort eines LLM zu verbessern. Die Qualität und der Kontext des Inhalts, der aus verschiedenen Dokumenten extrahiert wird, sind entscheidend für die Abrufleistung in einem Dokumentensuchsystem Mit dem Modus PARSE_DOCUMENT LAYOUT können Sie auf einfache Weise eine fortgeschrittene Extraktion von Inhalten implementieren, die die strukturelle Integrität eines Dokuments beibehält, sodass Sie den Text problemlos in prägnante, in sich geschlossene Texteinheiten aufteilen können. Dies wiederum gibt Ihnen die Möglichkeit, semantische Blöcke zu implementieren, anstatt sich auf willkürliche Zeichentrennungen zu verlassen, sowie gezielte Fragen und Antworten und Zusammenfassungen auszuführen.

Rechtliche Hinweise¶

Die Datenklassifizierung der Eingaben und Ausgaben ist in der folgenden Tabelle aufgeführt.

Weitere Informationen dazu finden Sie unter KI und ML in Snowflake.