Cortex AI-Funktionen: Image-Extraktion mit AI_PARSE_DOCUMENT¶
AI_PARSE_DOCUMENT ist eine Cortex-AI-Funktion, die Text, Daten, Layout-Elemente und Bilder aus PDFs, Word-Dokumenten und Bildern extrahiert. Verwenden Sie diese Funktion zur Extraktion von Daten mit hoher Genauigkeit, um fortgeschrittene, multidimensionale Dokumentenverarbeitungs-Workflows zu ermöglichen, wie z. B.:
Daten anreichern: Extrahieren Sie Bilder aus Dokumenten, um visuellen Kontext für tiefere Einblicke hinzuzufügen.
Multimodales RAG: Kombinieren Sie Bilder und Text für die Retrieval-Augmented Generation (RAG), um die Antworten der Modelle zu verbessern.
Bildklassifizierung: Verwenden Sie extrahierte Bilder mit AI_EXTRACT oder AI_COMPLETE für das automatische Tagging und die automatische Analyse.
Wissensdatenbanken: Erstellen Sie inhaltsreichere Repositorys, indem Sie sowohl Text als auch Bilder für eine bessere Suche und Argumentation einbeziehen.
Konformität: Extrahieren und analysieren Sie Bilder (z. B. Diagramme, Signaturen) für Regulierungs- und Audit-Workflows.
Für eine Einführung in AI_PARSE_DOCUMENT finden Sie unter Parsen von -Dokumenten mit AI_PARSE_DOCUMENT.
Verwenden von AI_PARSE_DOCUMENT, um Bilder zu extrahieren¶
So extrahieren Sie Bilder mit AI_PARSE_DOCUMENT aus einem Dokument:
Setzen Sie die Option
'mode'auf'LAYOUT'. Die Image-Extraktion erfordert den LAYOUT-Modus.Setzen Sie die Option
'extract_images'auf TRUE.
Die AI_PARSE_DOCUMENT Bildextraktion gibt ein Array, images, in der JSON-Ausgabe zurück. Jedes Element von images enthält ein Feld ``image_base64``mit den extrahierten Bilddaten, die als base64-Zeichenfolge codiert sind. Image OBJECT_CONSTRUCT enthält auch Felder für eine eindeutige ID und Bildbegrenzungsrahmen.
Sie können die Bilder mit BASE64_DECODE_BINARY dekodieren und sie dann direkt an AI_EXTRACT übergeben, um den Inhalt des Bildes zu verarbeiten oder zu beschreiben. Alternativ können Sie sie auch in einem Stagingbereich speichern, um sie mit multimodalem AI_COMPLETE zu verarbeiten. (AI_COMPLETE unterstützt derzeit keine direkte Bildeingabe).
Beispiele¶
Bilder extrahieren und beschreiben¶
Nachdem Sie die Bilddaten extrahiert haben, können Sie AI_EXTRACT verwenden, um den Bildinhalt zu verarbeiten oder zu beschreiben. Das folgende Beispiel generiert eine Beschreibung für das erste extrahierte Bild, nachdem es von base64 in einen Binärwert konvertiert wurde. (AI_EXTRACT erfordert eine Binäreingabe.) Die Abfrage verwendet einen regulären Ausdruck, um die Metadaten (Schema und Format) aus der base64-Zeichenfolge zu entfernen.
Extrahierte Bilder in einem Stagingbereich speichern¶
Sie können extrahierte Bilder aus Dokumenten in einem Snowflake-Stagingbereich zur Wiederverwendung, Prüfung oder Weiterverarbeitung mit anderen Cortex AI-Funktionen speichern. In diesem Beispiel wird eine gespeicherte Python-Prozedur erstellt und verwendet, um base64-Bilddaten aus AI_PARSE_DOCUMENT zu decodieren und die resultierenden Bilddateien in einen bestimmten Stagingbereich hochzuladen.
Nach dem Erstellen der Prozedur SAVE_EXTRACTED_IMAGES können Sie sie aufrufen, um Bilder aus einem Dokument zu extrahieren und in einem Stagingbereich zu speichern, wie im folgenden Codeausschnitt gezeigt:
Die Ausgabe dieser Abfrage ist eine Liste von Dateipfaden für die Images, die im angegebenen Stagingbereich gespeichert sind, wie z. B.:
Jetzt können Sie die gespeicherten Bilder mit anderen Cortex AI-Funktionen verarbeiten, wie z. B. AI_COMPLETE für die multimodale Analyse oder Generierung.
Antwort:
Hinweise zu Kosten¶
AI_PARSE_DOCUMENT verwendet die Abrechnung auf der Grundlage der Anzahl der verarbeiteten Seiten. Eine einzelne Bilddatei wird für Abrechnungszwecke als eine Seite betrachtet. Das Extrahieren von Bildern verursacht keine zusätzlichen Kosten.
Aktuelle Einschränkungen¶
Aus einem einzelnen Dokument können nicht mehr als fünfzig Bilder extrahiert werden. Zusätzliche Bilder werden ignoriert.
Bilder, die kleiner als 4 × 4 Pixel sind, werden nicht extrahiert.
Wenn die Größe einer Antwort den Kontoparameter überschreitet EXTERNAL_FUNCTION_MAx_RESPONSE_SIZE überschreitet, gibt die Funktion einen Fehler zurück. Erhöhen Sie den Wert dieses Parameters, falls erforderlich.