Extrahieren von Informationen aus Dokumenten mit AI_EXTRACT¶

Visuelle Beantwortung von Fragen (VQA)¶

Beantworten von Fragen mit Nur-Text (SQuAD v2)¶

Ein Schema für einen bestimmten Dokumenttyp verwenden¶

Jeder Workload für die Extraktion muss Dokumente desselben Typs enthalten, und die Daten, die Sie extrahieren möchten, sollten für die meisten Tabellen ähnlich sein. Wenn die Anzahl der Spalten im Quelldokument von Dokument zu Dokument unterschiedlich ist, aber alle Dokumente eine definierte Teilmenge der zu extrahierenden Spalten enthalten und die gemeinsamen Spalten denselben oder einen ähnlichen Namen und Speicherort haben, dann können diese gemeinsamen Spalten extrahiert werden.

Beispiel: Rechnungen können eine unterschiedliche Anzahl von Spalten mit unterschiedlichen Daten aufweisen, wenn aber alle Tabellen die gleichen ersten drei Spalten haben (Item Description, Quantity und Price), können diese Daten extrahiert werden.

Natürliche Sprache zum Definieren von Spaltennamen verwenden¶

Sie können die Spaltennamen aus dem Dokument kopieren, sodass sie genau gleich sind. Nennen Sie die Spalten z. B. nicht product_code oder REPORT_DATE, sondern geben Sie ihnen stattdessen den Namen Product Code oder Report Date.

Leere Zeilen überspringen¶

Wenn Sie die Feinabstimmung eines Datensets erstellen, überspringen Sie die Zeilen, die keine Antwort enthalten (die zurückgegebene Antwort wäre None).

Spalten in der gleichen Reihenfolge definieren, wie sie im Dokument erscheinen¶

Um die Genauigkeit zu verbessern, definieren Sie die Spalten in der gleichen Reihenfolge, wie sie im Dokument erscheinen, d. h. normalerweise von links nach rechts oder von oben nach unten für transponierte Tabellen. Wenn Sie die Reihenfolge anders definieren möchten, ist ggf. ein Training erforderlich.

Bei Spalten, die für mehrere Zeilen die gleichen Werte aufweisen, wie z. B. Invoice Number und Invoice Date, fügen Sie dieses Spalten jedoch am Anfang hinzu. Beispiel:

• Invoice Number

• Invoice Date

• Item Code

• Item Name

• Quantity

Werte mit Groß-/Kleinschreibung aus dem Dokument definieren¶

Definieren Sie Werte möglichst mit der Groß-/Kleinschreibung aus dem Dokument. Wenn die Groß-/Kleinschreibung im Dokument variiert, verwenden Sie Großschreibung.

Das Feld für die Beschreibung verwenden¶

Das description-Feld im AI_EXTRACT-Antwortformat ist optional. In den meisten Fällen müssen Sie es nicht ausfüllen. Wenn es jedoch mehrere ähnliche Tabellen in einem Dokument gibt, kann es sein, dass das Modell ungenau antwortet. Wenn die Antworten aus einer anderen Quelltabelle als erwartet stammen oder das Modell die Tabelle nicht finden kann, versuchen Sie, das description-Feld zu verwenden. Fügen Sie Informationen hinzu, die dem Modell dabei helfen, die richtige Tabelle zu identifizieren, z. B. den Tabellentitel oder die Tabellennummer.

Abschnittsspalte hinzufügen, um das Layout der Tabelle zu beschreiben¶

Wenn die Tabelle in mehrere benannte Abschnitte unterteilt ist, fügen Sie eine Abschnittsspalte hinzu. Dies hilft dem Modell, das Layout besser zu verstehen und die Genauigkeit zu verbessern. Sie können die Spalte zum Beispiel Section, Item section oder Item category nennen. Wenn es in den Abschnitten eine zweite Verschachtelungsebene gibt, können Sie zwei Spalten hinzufügen: Section und Subsection.

Eine zusätzliche Spalte erstellen, um Werte zu gruppieren¶

Sie können der bestehenden Tabelle eine Spalte hinzufügen, um Werte zu gruppieren. Auf diese Weise können Sie die Ergebnisse aus dem gesamten Dokumentensatz in einer einzigen Tabelle zusammenführen, zum Beispiel:

Beachten Sie, dass der Wert in der ersten Spalte für entsprechende Elemente wiederholt wird.

Sicherstellen, dass die Spaltennamen zwischen Dokumenten unterschieden werden können¶

Versuchen Sie, eine Spalte semantisch von anderen zu unterscheiden. Verwenden Sie keine Namen wie col1, val1 oder item1.

In manchen Fällen funktioniert die Transposition besser, insbesondere wenn sich die Zeilennamen zwischen den Dokumenten nicht unterscheiden oder sich zumindest leicht unterscheiden und innerhalb eines geschlossenen Wertebereichs liegen.

Beachten Sie, dass ein Training auf dem angegebenen Spaltensatz die Ergebnisse verbessern kann.

Bei hierarchischen Headern den Namen des übergeordneten Elements als Präfix verwenden¶

Um Informationen aus Tabellen mit hierarchischen Headern zu extrahieren, verknüpfen Sie den Header-Pfad mit jedem Namen des übergeordneten Elements als Präfix. Definieren Sie beispielsweise für die folgende Tabelle die Spalten als:

• Category A Type X Column 1

• Category A Type Y Column 2

• Category A Type Y Column 3

• Category B Column 4

• Category B Column 5

Tabellen bei Bedarf transponieren¶

Sie können Informationen aus transponierten Tabellen extrahieren, indem Sie Werte aus der ersten Spalte der Tabelle des Dokuments als Spaltennamen in der Ausgabetabelle verwenden.

Benennen Sie die Spalten für die folgende Tabelle beispielsweise:

• Type A: Item 1

• Type A: Item 2

• Type B: Item 3

• Type B: Item 4

Beachten Sie, dass dieses Beispiel hierarchische Header enthält.

Dokument bei großen Tabellen aufteilen¶

Das Modell für die Tabellenextraktion liefert Antworten, die bis zu 4096 Token lang sind. Dies bedeutet, dass das Modell die Extraktion beendet, wenn dieses Limit erreicht ist. Sie können dies auf folgende Weise lösen:

• Wenn die Tabelle mehrere Seiten umfasst, teilen Sie das Dokument in mehrere einseitige Dokumente auf und führen Sie die Ergebnisse bei der Nachbearbeitung zusammen.

• Wenn die Tabelle so dicht ist, dass die Daten nicht einmal von einer einzigen Seite extrahiert werden können, teilen Sie die Tabelle nach Spalten auf.

  Wenn die Tabelle z. B. 10 Spalten enthält, versuchen Sie, zwei separate Werte zu definieren: einen mit 5 Spalten aus der linken Hälfte der Tabelle und den anderen mit 5 Spalten aus der rechten Hälfte. Möglicherweise müssen Sie mit der Auswahl der Spalte experimentieren, um optimale Ergebnisse zu erzielen.

Namen für die Spalten erstellen, die im Dokument keinen Namen haben¶

Wenn die erste Spalte im Dokument keinen Namen hat, müssen Sie diesen Namen beim Definieren des Werts selbst erstellen. Sie können dies wie folgt angehen:

• Verwenden Sie den Tabellentitel oder einen wichtigen Teil des Titels.

• Erstellen Sie einen beschreibenden Namen, der die Daten in der Spalte darstellt, z. B. description, type of asset, year, category.

Daten aus zwei verschiedenen Zeiträumen vergleichen¶

Wenn Sie Daten aus zwei verschiedenen Zeiträumen vergleichen möchten, z. B. den Jahren 2023 und 2024 in Finanzdokumenten wie Jahresberichten, können Sie den Spalten das Präfix „aktuell“ und „vorher“ voranstellen. Beachten Sie, dass unter Umständen ein Training erforderlich ist, um die Ergebnisse zu verbessern.

Eine Entität extrahieren¶

Extrahieren Sie den Namen des Verkäufers und das Ablaufdatum des Angebots:

SELECT AI_EXTRACT(
  file => TO_FILE('@db.schema.stage','document.pdf'),
  responseFormat => [['seller_name', 'What is the seller name?'], ['address', 'What is the offer expiration date?']]
);

Ergebnis:

{
    "error": null,
    "response": {
        "address": "12/12/2023",
        "seller_name": "Paul Doyle"
    }
}

Kontrollkästcheninformationen extrahieren¶

Extrahieren Sie Informationen über Elemente, die nicht enthalten sind, basierend auf den im Dokument aktivierten Kontrollkästchen:

SELECT AI_EXTRACT(
  file => TO_FILE('@db.schema.stage','document.pdf'),
  responseFormat => [['flat_items', 'What items are not included with the flat?'], ['default', 'What Default is selected?']]
);

Ergebnis:

{
    "error": null,
    "response": {
        "default": "Forfeiture of Earnest Money",
        "flat_items": "dryer, security system, satellite dish, wood stove, fireplace insert, hot tub, attached speaker(s), generator, other"
    }
}

Signaturstatus extrahieren¶

Extrahieren Sie Informationen darüber, ob die Vereinbarung unterzeichnet wurde:

SELECT AI_EXTRACT(
    file => TO_FILE('@db.schema.stage','document.pdf'),
    responseFormat => [['signature', 'Is this document signed?']]
);

Ergebnis:

{
  "error": null,
    "response": {
        "signature": "no"
    }
}

Eine Liste der Entitäten extrahieren¶

Extrahieren Sie eine Liste der Namen der Käufer:

SELECT AI_EXTRACT(
    file => TO_FILE('@db.schema.files', 'report.pdf'),
    responseFormat => {
        'schema': {
        'type': 'object',
        'properties': {
            'buyer_list': {
            'description': 'What are the buyer names?',
            'type': 'array'
            }
        }
        }
    }
);

Ergebnis:

{
    "error": null,
    "response": {
        "buyer_list": [
        "John Davis",
        "Jane Davis"
        ]
    }
}