Cortex AI Functions: documentos¶
O Snowflake oferece recursos de inteligência de documentos com tecnologia de AI como Cortex AI Functions. Essas funções ajudam você a processar, analisar, classificar e extrair informações de uma ampla variedade de tipos de documentos para executar análise, automação e aplicativos inteligentes, tudo usando um SQL simples. As funções de documentos ajudam nas seguintes tarefas:
Analisar documentos para converter texto não estruturado e layouts em conteúdo estruturado, pesquisável e analisável.
Extrair informações estruturadas (entidades, tabelas ou campos) de documentos.
Classificar tipos de documentos para gerar fluxos de trabalho e análises downstream.
As funções de processamento de documentos do Cortex podem ser combinadas para criar pipelines de geração aumentada de recuperação (Retrieval Augmented Generation, RAG), sistemas de pesquisa inteligente e chatbot e análise de documentos em grande escala. A ilustração a seguir mostra como as funções de processamento de documentos do Cortex formam uma estrutura combinável em que os componentes podem ser misturados para criar soluções personalizadas.
Funções de documentos¶
As principais funções do Cortex AI Functions para processamento de documentos são:
AI_PARSE_DOCUMENT: converte documentos nativos digitais ou digitalizados em rich text, preservando o layout e o contexto. Opcionalmente, extrai imagens de documentos. Ideal para pesquisa semântica, pipelines RAG e fluxos de trabalho de resumo. Funciona bem com análise de documentos que exige a compreensão de todo o conteúdo do documento.
AI_EXTRACT: fornece extração estruturada de alta qualidade de informações de documentos. Compreende texto, tabelas, caixas de seleção, escrita manual e outros elementos visuais. É especializada na extração de dados estruturados com base em um esquema.
Outras funções do Cortex AI Functions são úteis nos fluxos de trabalho de processamento de documentos. Você pode passar imagens das páginas dos documentos diretamente para essas funções ou extrair o texto usando uma das principais funções de documentos acima e usar uma das funções para processar esse texto.
AI_COMPLETE: A função de AI de uso mais geral, AI_COMPLETE, gera preenchimentos de texto com base em um prompt que você envia e, portanto, pode ser usado em uma ampla variedade de tarefas que envolvem extração ou transformação de texto de documentos.
AI_CLASSIFY: categoriza o conteúdo do texto em classes que você define (por exemplo, fatura, contrato ou relatório).
As seguintes funções de AI de processamento de texto podem ser usadas para analisar ou transformar texto extraído de documentos.
AI_SENTIMENT: analisa o sentimento do conteúdo de texto.
AI_TRANSLATE: traduz o conteúdo de texto entre idiomas.
SUMMARIZE: gera resumos concisos de conteúdo de texto.
Casos de uso¶
As funções do Cortex AI Functions para processamento de documentos foram projetadas uso em conjunto ou individualmente para abordar uma variedade de casos de uso e são adequadas a estes dois casos de uso:
Criando pipelines RAG para chatbots e serviços de pesquisa empresarial¶
Os documentos processados por AI_PARSE_DOCUMENT podem ser indexados pelo Cortex Search Services, que pode atuar como mecanismos de geração aumentada de recuperação (RAG) para melhorar as respostas do modelo de linguagem às consultas dos usuários. Nesse cenário, você usa o Cortex Search Service para encontrar documentos relacionados à consulta e, em seguida, passa esses documentos para AI_COMPLETE como parte do prompt para gerar respostas mais relevantes ao contexto.
Criando pipelines de processamento de documentos para simplificar fluxos de trabalho e análises¶
As funções de AI de processamento de documentos do Cortex ajudam você a criar pipelines de processamento de documentos inteligentes, flexíveis e escaláveis usando componentes modulares. Esse pipeline ingere documentos em vários formatos e os transforma em dados úteis, permitindo que você crie fluxos de trabalho como estes:
Extração baseada em esquema: aplique um esquema de linguagem natural para extrair entidades, variando de entidades únicas a dados tabulares complexos, de um conjunto de documentos
Perguntas e respostas sobre documentos: faça perguntas sobre um documento em linguagem natural.
Extração de texto e layout: capture texto de documentos (com ou sem layout) para extrair entidades, gerar resumos e realizar análises usando outras funções de AI.
Classificação: determine o tipo de documento (por exemplo, «fatura», «contrato», «relatório») ao ingerir dados para rotear cada tipo para um fluxo de trabalho de processamento apropriado.
Criação de um registro de modelos para compartilhar modelos personalizados de extração e classificação: um registro de modelos armazena modelos de extração de documentos ajustados para casos de uso personalizados específicos da sua organização. A reutilização desses modelos entre equipes economiza tempo e esforço.