Extrahieren von Informationen aus Dokumenten mit AI_EXTRACT¶

Qualität der Extraktion¶

AI_EXTRACT verwendet arctic-extract, ein proprietäres, visionsbasiertes großes Sprachmodell (LLM), das eine hohe Extraktionsgenauigkeit liefert. Die folgende Tabelle zeigt die Ergebnisse des Modells bei verschiedenen Standard-Benchmarks mit den Ergebnissen anderer beliebter Modelle zum Vergleich:

Beispiele¶

In diesen Beispielen wird die folgende Abbildung als Eingabedokument verwendet. Das Dokument ist in einem Stagingbereich gespeichert.

SELECT AI_EXTRACT(
  file => TO_FILE('@db.schema.stage','document.pdf'),
  responseFormat => [['seller_name', 'What is the seller name?'], ['address', 'What is the offer expiration date?']]
);

{
    "error": null,
    "response": {
        "address": "12/12/2023",
        "seller_name": "Paul Doyle"
    }
}

SELECT AI_EXTRACT(
  file => TO_FILE('@db.schema.stage','document.pdf'),
  responseFormat => [['flat_items', 'What items are not included with the flat?'], ['default', 'What Default is selected?']]
);

{
    "error": null,
    "response": {
        "default": "Forfeiture of Earnest Money",
        "flat_items": "dryer, security system, satellite dish, wood stove, fireplace insert, hot tub, attached speaker(s), generator, other"
    }
}

SELECT AI_EXTRACT(
    file => TO_FILE('@db.schema.stage','document.pdf'),
    responseFormat => [['signature', 'Is this document signed?']]
);

{
  "error": null,
    "response": {
        "signature": "no"
    }
}

SELECT AI_EXTRACT(
    file => TO_FILE('@db.schema.files', 'report.pdf'),
    responseFormat => {
        'schema': {
        'type': 'object',
        'properties': {
            'buyer_list': {
            'description': 'What are the buyer names?',
            'type': 'array'
            }
        }
        }
    }
);

{
    "error": null,
    "response": {
        "buyer_list": [
        "John Davis",
        "Jane Davis"
        ]
    }
}

Extrahieren von Tabelleninformationen¶

Dieses Beispiel extrahiert tabellarische Daten aus dem folgenden Dokument.

SELECT AI_EXTRACT(
    file => TO_FILE('@db.schema.files', 'report.pdf'),
    responseFormat => {
        'schema': {
            'type': 'object',
            'properties': {
                'income_table': {
                'description': 'Table 2: Granger Causality Tests - P-values',
                'type': 'object',
                'column_ordering': ['description', 'countries','lags','z','z_approx'],
                'properties': {
                    'description': {
                        'description': 'Description',
                        'type': 'array'
                        },
                    'countries': {
                        'description': 'Countries',
                        'type': 'array'
                        },
                    'lags': {
                        'description': 'Lags',
                        'type': 'array'
                        },
                    'z': {
                        'description': 'Z',
                        'type': 'array'
                    },
                    'z_approx': {
                        'description': 'Z approx.',
                        'type': 'array'
                    }
                }
            }
        }
    }
);

Copy

{
    "error": null,
    "response": {
        "income_table": {
            "countries": [
                "33","80","29","84","34"
            ],
            "description": [
                "Commodity exporters",
                "Non-commodity exporters",
                "AE",
                "EMDE",
                "Large or market-dominant countries"
            ],
            "lags": [
                "2","1","1","1","1"
            ],
            "z": [
                "0.11","0.08","0.89","0.12","0.07"
            ],
            "z_approx": [
                "0.25","0.19","0.95","0.25","0.14"
            ]
        }
    }
}

Copy

Eingabeanforderungen¶

AI_EXTRACT ist sowohl für digital erstellte als auch für gescannte Dokumente optimiert. In der folgenden Tabelle sind die Beschränkungen und Anforderungen für Eingabedokumente aufgeführt:

Anforderungen an die Zugriffssteuerung¶

Um die Funktion AI_EXTRACT zu verwenden, muss ein Benutzer mit der Rolle ACCOUNTADMIN dem Benutzer, der die Funktion aufruft, die Datenbankrolle SNOWFLAKE.CORTEX_USER erteilen. Siehe Cortex LLM privileges für weitere Informationen.

Hinweise zu Kosten¶

Die Cortex AI_EXTRACT-Funktion verursacht Kosten, die von der Anzahl der Seiten pro Dokument, den Token der Eingabeaufforderung und den verarbeiteten Ausgabe-Token abhängen.

• Für seitenbasierte Dateiformate (PDF, DOCX, TIF, TIFF) wird jede Seite als 970 Token gezählt.

• Für Bilddateiformate (JPEG, JPG, PNG) wird jede einzelne Bilddatei als Seite abgerechnet und als 970 Token gezählt.

Snowflake empfiehlt die Ausführung von Abfragen, die die Cortex-Funktion AI_EXTRACT aufrufen, in einem kleineren Warehouse (nicht größer als MEDIUM). Größere Warehouses erhöhen die Leistung nicht.

Unterstützte Sprachen¶

AI_EXTRACT unterstützt die folgenden Sprachen:

• Arabisch

• Bengalisch

• Birmanisch

• Cebuano

• Chinesisch

• Tschechisch

• Holländisch

• Englisch

• Französisch

• Deutsch

• Hebräisch

• Hindi

• Indonesisch

• Italienisch

• Japanisch

• Khmer

• Koreanisch

• Lao

• Malaiisch

• Persisch

• Polnisch

• Portugiesisch

• Russisch

• Spanisch

• Tagalog

• Thailändisch

• Türkisch

• Urdu

• Vietnamesisch

Regionale Verfügbarkeit¶

Unterstützung für AI_EXTRACT ist für Konten in den folgenden Snowflake-Regionen verfügbar:

AI_EXTRACT bietet regionenübergreifende Unterstützung. Weitere Informationen zur Aktivierung der regionenübergreifenden Unterstützung von Cortex AI finden Sie unter Regionenübergreifende Inferenz.

Fehlerbedingungen¶

Snowflake Cortex AI_EXTRACT kann die folgenden Fehlermeldungen erzeugen:

Rechtliche Hinweise¶

Die Datenklassifizierung der Eingaben und Ausgaben ist in der folgenden Tabelle aufgeführt.

Weitere Informationen dazu finden Sie unter KI und ML in Snowflake.