AI_COMPLETE com documentos¶
A AI_COMPLETE do Cortex é uma função de AI de uso geral que compreende os dados armazenados em PDF, Microsoft Word e outros formatos de arquivo de documento. Você pode usar a AI_COMPLETE para executar uma variedade de tarefas de extração de dados de documentos, como:
Responder a perguntas usando os dados em gráficos e tabelas
Encontrar relações entre gráficos e textos de documentos
Resumir o conteúdo do documento em uma pergunta específica
Extrair entidades de documentos
Uma vantagem da AI_COMPLETE em relação a outras funções de AI de processamento de documentos é a capacidade de escolher um modelo, para que você possa usar o melhor modelo para sua tarefa específica de processamento de documentos.
Processando documentos com AI_COMPLETE¶
A função COMPLETE processa arquivos de documentos armazenados em uma área de preparação interna do Snowflake ou em uma área de preparação externa. O prompt de conclusão pode fazer referência a um ou vários documentos. Por exemplo, você compara a exatidão de uma tradução de materiais de marketing fornecendo os documentos original e traduzido como entrada para a função, junto com um prompt que pede que o modelo avalie a qualidade da tradução.
Ao chamar a função, você deve especificar o modelo que será usado e um prompt. O prompt deve incluir as instruções junto com uma referência de objeto FILE para cada documento que você deseja processar. Consulte Exemplos para conferir prompts e preenchimentos de amostra, e AI_COMPLETE (objeto de prompt) para sintaxe de chamada de função.
Requisitos de entrada¶
A AI_COMPLETE é otimizada para documentos originalmente digitais e que foram digitalizados. A seguinte tabela lista as limitações e os requisitos dos documentos de entrada:
Tipos de arquivos compatíveis |
Todos os modelos: .txt, .md, .pdf
Modelos Claude: .txt, .md, .pdf, .doc, .docx, .xls, .xlsx, .csv, .xhtml
|
|---|---|
Criptografia de estágio |
Criptografia do lado do servidor |
Tipo de dados |
Objeto FILE |
Nota
Atualmente, o processamento de arquivos de áreas de preparação com AI_COMPLETE é incompatível com políticas de rede personalizadas.
Exemplos¶
Os exemplos a seguir ilustram como usar AI_COMPLETE para processar documentos para três casos de uso comuns: perguntas e respostas de gráficos, resumo de documentos contextualizados e exploração de relatórios técnicos.
Exemplo de perguntas e respostas de gráficos¶
O exemplo a seguir usa o modelo Claude Opus 4 da Anthropic para analisar os dados representados em um gráfico no contexto do documento hdr2023-24snapshoten.pdf armazenado na área de preparação @docs.
Resposta:
Exemplo de resumo de documento contextualizado¶
O exemplo a seguir usa o modelo Claude Sonnet 4 da Anthropic para extrair o resumo de um texto jurídico com layout complexo. O documento CELEX_32008R1008_EN_TXT.pdf está armazenado na área de preparação @docs. O prompt restringe o contexto do resumo.
Resposta:
Exploração de relatório técnico¶
O exemplo a seguir usa o modelo Gemini 3 Pro para analisar os dados de incidentes representados nos diagramas de um relatório técnico. O documento 75mm-M3-spec-booklet-MK-VI.pdf está armazenado na área de preparação @docs.
Resposta:
Modelos e limitações compatíveis¶
Todos os modelos disponíveis para o Snowflake Cortex têm limitações quanto ao número total de tokens de entrada e saída, conhecido como janela de contexto do modelo. O tamanho da janela de contexto é medido em tokens. As entradas que excedem o limite da janela de contexto resultam em erro.
Para modelos de texto, os tokens geralmente representam cerca de quatro caracteres de texto. A contagem de palavras correspondente a um limite é um pouco menor do que a janela de contexto representada em tokens. Para modelos de imagem, a contagem de tokens por documento depende da arquitetura do modelo de visão. Os tokens em um prompt (por exemplo, «resuma este documento:») também contribuem para a janela de contexto do modelo.
Modelo |
Janela de contexto (tokens) |
Tipos de arquivo |
Tamanho do arquivo |
Documentos por prompt |
|---|---|---|---|---|
|
1.000.000 |
.pdf, .txt, .md |
10MB, máx. de 900 páginas |
20 |
|
200,000 |
.txt, .md, .pdf, .doc, .docx, .xls, .xlsx, .csv, .xhtml |
4.5MB |
5 |
|
200,000 |
.txt, .md, .pdf, .doc, .docx, .xls, .xlsx, .csv, .xhtml |
4.5MB |
5 |
|
200,000 |
.txt, .md, .pdf, .doc, .docx, .xls, .xlsx, .csv, .xhtml |
4.5MB |
5 |
|
200,000 |
.txt, .md, .pdf, .doc, .docx, .xls, .xlsx, .csv, .xhtml |
4.5MB |
5 |
|
200,000 |
.txt, .md, .pdf, .doc, .docx, .xls, .xlsx, .csv, .xhtml |
4.5MB |
5 |
|
200,000 |
.txt, .md, .pdf, .doc, .docx, .xls, .xlsx, .csv, .xhtml |
4.5MB |
5 |
Requisitos de controle de acesso¶
Para usar a função AI_COMPLETE, um usuário com a função ACCOUNTADMIN deve conceder a função de banco de dados SNOWFLAKECORTEX_USER ao usuário que chamará a função. Veja o tópico Privilégios de LLM do Cortex para mais detalhes.
Os usuários também devem ter acesso READ à área de preparação e ao arquivo que está sendo processado.
Considerações sobre custo¶
O custo é determinado pelo número total de tokens processados, não pelo tamanho do arquivo. Quando os documentos são carregados, o conteúdo textual é extraído e convertido em tokens. Os segmentos visuais (imagens) da página também são transformados em tokens. O faturamento é baseado na soma de tokens de entrada (texto mais imagens que o modelo lê) e de tokens de saída (texto gerado pelo modelo).
As contagens reais de tokens variam de acordo com a arquitetura subjacente de um modelo, além da composição e estrutura do documento. O conteúdo, como tabelas densas, planilhas, dados estruturados, código, cabeçalhos e rodapés repetidos ou texto derivado de OCR, pode aumentar o volume do token. Por outro lado, documentos com muitas imagens ou baseados em slides com texto extraível mínimo podem resultar em contagens mais baixas de tokens.
Nota
A função AI_COUNT_TOKENS não oferece suporte a entradas de documentos em modelos multimodais no momento.
Escolha de um modelo¶
O benchmark MMLongBench-Doc é usado para avaliar a capacidade do modelo na compreensão multimodal e de contexto longo, incluindo a recuperação de informações entre páginas.
Modelo |
Pontuação MMLongBench-Doc |
|---|---|
claude-3-5-sonnet |
46,8% |
claude-3-7-sonnet |
52,8% |
claude-4-sonnet |
50,2% |
claude-4-opus |
53% |
claude-haiku-4-5 |
48,9% |
claude-sonnet-4-5 |
61,4% |
claude-opus-4-5 |
63,8% |
claude-sonnet-4-6 |
62,3% |
gemini-3-pro |
60,5% |
Disponibilidade regional¶
Consulte Disponibilidade regional.
Condições de erro¶
O Snowflake Cortex AI_COMPLETE pode produzir as seguintes mensagens de erro:
Mensagem |
Explicação |
|---|---|
_COMPLETE_WITH_PROMPT_HISTORY_LLM$V1 com erro de serviço remoto: 400 “«invalid request parameters: unsupported document content type: application/vnd.ms-excel» |
O arquivo selecionado de um tipo incompatível (neste exemplo, um arquivo do Microsoft Excel). Somente os modelos Claude são compatíveis com arquivos do Excel. |
Falha na solicitação para função externa _COMPLETE_WITH_PROMPT_HISTORY_LLM$V1 com erro de serviço remoto: 400 “«invalid request parameters: File data exceeds the limit of 10.00 MB for file prefix/file.pdf» |
O tamanho do arquivo excede o limite (10MB, neste exemplo). |
O arquivo remoto “@docs/file.pdf” não foi encontrado. Existem várias causas possíveis. O arquivo pode não existir. As credenciais necessárias podem estar ausentes ou ser inválidas. Se você estiver executando um comando de cópia, certifique-se de que os arquivos não sejam excluídos quando estiverem sendo carregados, ou que não sejam carregados em duas tabelas diferentes simultaneamente com a opção de limpeza automática. |
Possivelmente um erro no nome do arquivo. Os nomes de arquivo diferenciam maiúsculas de minúsculas. Ou o arquivo pode ter sido excluído. |
Erro no objeto seguro |
Pode indicar que a área de preparação não existe. Verifique o nome da área de preparação e certifique-se de que ela existe e é acessível. Certifique-se de usar um sinal de arroba (@) no início do nome da área de preparação. Certifique-se de que a área de preparação use criptografia no lado do servidor. |
Falha na solicitação para função externa COMPLETE$V6 com erro de serviço remoto: 400 “«model "model_name" does not support given modality» |
O modelo fornecido na solicitação não é compatível com a modalidade do documento ou texto. |
Falha na solicitação para função externa _COMPLETE_WITH_PROMPT com erro de serviço remoto: 500 “«internal error» |
Problema ao processar a solicitação no lado do servidor. Talvez o arquivo esteja corrompido ou truncado. |
Avisos legais¶
A classificação dos dados de entradas e saídas é definido na tabela a seguir.
Classificação de dados de entrada |
Classificação de dados de saída |
Designação |
|---|---|---|
Usage Data |
Customer Data |
As funções disponíveis ao público em geral são recursos de AI cobertos. As funções em versão preliminar são recursos de AI em versão preliminar. [1] |
Para obter informações adicionais, consulte AI e ML Snowflake.