Extraindo informações de documentos com AI_EXTRACT¶

Resposta visual a perguntas (VQA)¶

Resposta somente texto a perguntas (SQuAD v2)¶

Usar um esquema para um tipo específico de documento¶

Cada carga de trabalho de extração deve conter documentos do mesmo tipo, e os dados que você deseja extrair devem ser semelhantes para a maioria das tabelas. Se o número de colunas no documento de origem for diferente entre um documento e outro, mas todos os documentos incluírem um subconjunto definido de colunas a serem extraídas e as colunas comuns tiverem nome e localização iguais ou semelhantes, essas colunas comuns poderão ser extraídas.

Por exemplo, as faturas podem ter números diferentes de colunas com vários dados, mas se todas as tabelas tiverem as mesmas três primeiras colunas, Item Description, Quantity e Price, os dados poderão ser extraídos.

Uso de linguagem natural para definir nomes de colunas¶

Você pode copiar os nomes das colunas do documento para que sejam exatamente iguais. Por exemplo, não insira nomes de colunas como product_code ou REPORT_DATE; em vez disso, insira Product Code ou Report Date.

Ignorar as linhas vazias¶

Ao criar um conjunto de dados de ajuste fino, ignore as linhas sem resposta (em que a resposta retornada seria None).

Definição de colunas na mesma ordem em que aparecem no documento¶

Para melhorar a precisão, defina as colunas na mesma ordem em que aparecem no documento, que geralmente é da esquerda para a direita ou de cima para baixo para tabelas transpostas. Se você definir a ordem de forma diferente, poderá ser necessário treinamento.

No entanto, para colunas em que os valores são os mesmos para várias linhas, como Invoice Number e Invoice Date, adicione essas colunas no início. Por exemplo:

• Invoice Number

• Invoice Date

• Item Code

• Item Name

• Quantity

Definição de valores usando as letras maiúsculas e minúsculas do documento¶

Quando possível, defina valores usando as letras maiúsculas e minúsculas do documento. Se o uso de letras maiúsculas e minúsculas no documento for variado, use maiúsculas.

Usar o campo de descrição¶

O campo description no formato de resposta AI_EXTRACT é opcional; na maioria dos casos, não é necessário preenchê-lo. No entanto, se houver várias tabelas semelhantes em um documento, o modelo poderá responder de forma imprecisa. Se as respostas vierem de uma tabela de origem diferente da esperada ou se o modelo não conseguir encontrar a tabela, tente usar o campo description. Adicione informações que ajudem o modelo a identificar a tabela correta, como título ou número da tabela.

Adição da coluna de seção para descrever o layout da tabela¶

Se a tabela for dividida em várias seções nomeadas, adicione uma coluna de seção. Isso ajuda o modelo a entender melhor o layout e melhorar a precisão. Por exemplo, você pode inserir um nome de coluna Section, Item section``ou ``Item category. Se houver um segundo nível de aninhamento nas seções, você poderá adicionar duas colunas: Section e Subsection.

Criação de uma coluna adicional para agrupar valores¶

Você pode adicionar uma coluna à tabela existente para agrupar valores. Dessa forma, você pode unir os resultados de todo o conjunto de documentos em uma única tabela. Por exemplo:

Observe que o valor na primeira coluna é repetido para os itens correspondentes.

Distinção dos nomes das colunas entre documentos¶

Tente distinguir semanticamente uma coluna. Não use nomes como col1, val1 ou item1.

Em alguns casos, a transposição pode funcionar melhor, especialmente quando os nomes das linhas são iguais entre os documentos ou são ligeiramente diferentes e estão dentro de um conjunto fechado de valores.

Observe que o treinamento no conjunto de colunas especificado pode melhorar os resultados.

Uso do nome pai como prefixo ao trabalhar com cabeçalhos hierárquicos¶

Para extrair informações de tabelas com cabeçalhos hierárquicos, una o caminho do cabeçalho usando cada nome pai como prefixo. Por exemplo, para a tabela a seguir, defina as colunas como:

• Category A Type X Column 1

• Category A Type Y Column 2

• Category A Type Y Column 3

• Category B Column 4

• Category B Column 5

Transposição das tabelas, se necessário¶

Você pode extrair informações de tabelas transpostas usando os valores da primeira coluna da tabela no documento como nomes de colunas na tabela de saída.

Por exemplo, para a tabela a seguir, insira estes nomes de colunas:

• Type A: Item 1

• Type A: Item 2

• Type B: Item 3

• Type B: Item 4

Observe que este exemplo inclui cabeçalhos hierárquicos.

Divisão do documento para tabelas grandes¶

O modelo para extração de tabela retorna respostas com até 4096 tokens. Isso significa que o modelo para de extrair quando atinge esse limite. Você pode trabalhar com isso das seguintes maneiras:

• Se a tabela ocupar várias páginas, divida o documento em vários documentos de uma página e una os resultados no pós-processamento.

• Se a tabela for muito densa a ponto de inviabilizar a extração dos dados até mesmo de uma única página, divida a tabela por colunas.

  Por exemplo, se a tabela tiver 10 colunas, tente definir dois valores separados: um com 5 colunas da metade esquerda da tabela e outro com 5 colunas da metade direita da tabela. Talvez você tenha que testar a opção da coluna para obter melhores resultados.

Criação de nomes para colunas sem nome no documento¶

Se a primeira coluna no documento não tiver um nome, você mesmo deverá criar esse nome ao definir o valor. Você pode trabalhar com isso das seguintes maneiras:

• Use o título ou uma parte significativa do título da tabela.

• Crie um nome descritivo que represente os dados na coluna; por exemplo, description, type of asset, year, category.

Comparação de dados de dois períodos de tempo diferentes¶

Se quiser comparar os dados de dois períodos de tempo diferentes, por exemplo, dos anos 2023 e 2024 em documentos financeiros, como relatórios anuais, você poderá inserir os prefixos «atual» e «anterior» nas colunas. Observe que pode ser necessário treinamento para melhorar os resultados.

Extrair uma entidade¶

Extraia o nome do vendedor e a data de vencimento da oferta:

SELECT AI_EXTRACT(
  file => TO_FILE('@db.schema.stage','document.pdf'),
  responseFormat => [['seller_name', 'What is the seller name?'], ['address', 'What is the offer expiration date?']]
);

Resultado:

{
    "error": null,
    "response": {
        "address": "12/12/2023",
        "seller_name": "Paul Doyle"
    }
}

Extrair informações de caixas de seleção¶

Extraia informações sobre itens que não estão incluídos, com base nas caixas de seleção marcadas no documento:

SELECT AI_EXTRACT(
  file => TO_FILE('@db.schema.stage','document.pdf'),
  responseFormat => [['flat_items', 'What items are not included with the flat?'], ['default', 'What Default is selected?']]
);

Resultado:

{
    "error": null,
    "response": {
        "default": "Forfeiture of Earnest Money",
        "flat_items": "dryer, security system, satellite dish, wood stove, fireplace insert, hot tub, attached speaker(s), generator, other"
    }
}

Extrair o status da assinatura¶

Extraia informações sobre se o contrato foi assinado:

SELECT AI_EXTRACT(
    file => TO_FILE('@db.schema.stage','document.pdf'),
    responseFormat => [['signature', 'Is this document signed?']]
);

Resultado:

{
  "error": null,
    "response": {
        "signature": "no"
    }
}

Extrair uma lista de entidades¶

Extraia uma lista de nomes de compradores:

SELECT AI_EXTRACT(
    file => TO_FILE('@db.schema.files', 'report.pdf'),
    responseFormat => {
        'schema': {
        'type': 'object',
        'properties': {
            'buyer_list': {
            'description': 'What are the buyer names?',
            'type': 'array'
            }
        }
        }
    }
);

Resultado:

{
    "error": null,
    "response": {
        "buyer_list": [
        "John Davis",
        "Jane Davis"
        ]
    }
}