Extractions d’informations de documents avec AI_EXTRACT¶

Qualité de l’extraction¶

AI_EXTRACT utilise arctic-extract, un grand modèle de langage (LLM) propriétaire basé sur une vue qui offre une grande précision d’extraction. Le tableau suivant présente les scores du modèle sur différents benchmarks standard, avec les scores d’autres modèles populaires à des fins de comparaison :

Exemples¶

Ces exemples utilisent l’image suivante comme document d’entrée. Le document est stocké dans une zone de préparation.

SELECT AI_EXTRACT(
  file => TO_FILE('@db.schema.stage','document.pdf'),
  responseFormat => [['seller_name', 'What is the seller name?'], ['address', 'What is the offer expiration date?']]
);

{
    "error": null,
    "response": {
        "address": "12/12/2023",
        "seller_name": "Paul Doyle"
    }
}

SELECT AI_EXTRACT(
  file => TO_FILE('@db.schema.stage','document.pdf'),
  responseFormat => [['flat_items', 'What items are not included with the flat?'], ['default', 'What Default is selected?']]
);

{
    "error": null,
    "response": {
        "default": "Forfeiture of Earnest Money",
        "flat_items": "dryer, security system, satellite dish, wood stove, fireplace insert, hot tub, attached speaker(s), generator, other"
    }
}

SELECT AI_EXTRACT(
    file => TO_FILE('@db.schema.stage','document.pdf'),
    responseFormat => [['signature', 'Is this document signed?']]
);

{
  "error": null,
    "response": {
        "signature": "no"
    }
}

SELECT AI_EXTRACT(
    file => TO_FILE('@db.schema.files', 'report.pdf'),
    responseFormat => {
        'schema': {
        'type': 'object',
        'properties': {
            'buyer_list': {
            'description': 'What are the buyer names?',
            'type': 'array'
            }
        }
        }
    }
);

{
    "error": null,
    "response": {
        "buyer_list": [
        "John Davis",
        "Jane Davis"
        ]
    }
}

Extraire des informations sur la table¶

Cet exemple extrait les données tabulaires du document suivant.

SELECT AI_EXTRACT(
    file => TO_FILE('@db.schema.files', 'report.pdf'),
    responseFormat => {
        'schema': {
            'type': 'object',
            'properties': {
                'income_table': {
                'description': 'Table 2: Granger Causality Tests - P-values',
                'type': 'object',
                'column_ordering': ['description', 'countries','lags','z','z_approx'],
                'properties': {
                    'description': {
                        'description': 'Description',
                        'type': 'array'
                        },
                    'countries': {
                        'description': 'Countries',
                        'type': 'array'
                        },
                    'lags': {
                        'description': 'Lags',
                        'type': 'array'
                        },
                    'z': {
                        'description': 'Z',
                        'type': 'array'
                    },
                    'z_approx': {
                        'description': 'Z approx.',
                        'type': 'array'
                    }
                }
            }
        }
    }
);

Copy

{
    "error": null,
    "response": {
        "income_table": {
            "countries": [
                "33","80","29","84","34"
            ],
            "description": [
                "Commodity exporters",
                "Non-commodity exporters",
                "AE",
                "EMDE",
                "Large or market-dominant countries"
            ],
            "lags": [
                "2","1","1","1","1"
            ],
            "z": [
                "0.11","0.08","0.89","0.12","0.07"
            ],
            "z_approx": [
                "0.25","0.19","0.95","0.25","0.14"
            ]
        }
    }
}

Copy

Exigences en matière d’entrées¶

AI_EXTRACT est optimisé pour les documents numériques et numérisés. La table suivante répertorie les limitations et les exigences relatives aux documents d’entrée :

Exigences en matière de contrôle d’accès¶

Pour utiliser la fonction AI_EXTRACT, un utilisateur ayant un rôle ACCOUNTADMIN doit accorder le rôle de base de données SNOWFLAKE.CORTEX_USER à l’utilisateur qui appellera la fonction. Consultez la rubrique Cortex LLM privileges pour plus de détails.

Considérations relatives aux clients¶

La fonction Cortex AI_EXTRACT entraîne des coûts de calcul basés sur le nombre de pages par document, de jetons d’invite d’entrée et de jetons de sortie traités.

• Pour les formats de fichiers paginés (PDF, DOCX, TIF, TIFF), chaque page est comptée comme 970 jetons.

• Pour les formats de fichier image (JPEG, JPG, PNG), chaque fichier image individuel est facturé comme une page et compté comme 970 jetons

Snowflake recommande d’exécuter les requêtes qui font appel à la fonction Cortex AI_EXTRACT dans un entrepôt plus petit (pas plus grand que MEDIUM). Des entrepôts plus grands n’augmentent pas les performances.

Langues acceptées¶

AI_EXTRACT prend en charge les langues suivantes :

• Arabe

• Bengali

• Birman

• Cebuano

• Chinois

• Tchèque

• Néerlandais

• Anglais

• Français

• Allemand

• Hébreu

• Hindi

• Indonésien

• Italien

• Japonais

• Khmer

• Coréen

• Lao

• Malais

• Persan

• Polonais

• Portugais

• Russe

• Espagnol

• Tagalog

• Thaïlandais

• Turc

• Ourdou

• Vietnamien

Disponibilité régionale¶

La prise en charge de AI_EXTRACT est disponible pour les comptes dans les régions Snowflake suivantes :

AI_EXTRACT dispose d’une prise en charge interrégionale. pour plus d’informations sur l’activation de la prose en charge interrégionale de cortex AI, consultez Inférence interrégionale.

Conditions d’erreur¶

Snowflake Cortex AI_EXTRACT peut produire les messages d’erreur suivants.

Avis juridiques¶

La classification des données d’entrées et de sorties est présentée dans la table suivante.

Pour plus d’informations, reportez-vous à Snowflake AI et ML.