Cortex AISQL Images¶

Requisitos de entrada¶

A multimodal COMPLETE pode processar imagens com as seguintes características:

Criação de um estágio para o processamento de imagens¶

Crie um estágio adequado para armazenar as imagens a serem processadas. O estágio deve ter uma tabela de diretório e criptografia no lado do servidor.

O SQL abaixo cria um estágio interno adequado.

CREATE OR REPLACE STAGE input_stage
    DIRECTORY = ( ENABLE = true )
    ENCRYPTION = ( TYPE = 'SNOWFLAKE_SSE' );

O SQL a seguir cria um estágio externo no Amazon S3. Também há suporte para os estágios externos do Azure e GCP.

CREATE OR REPLACE STAGE input_stage
    URL='s3://<s3-path>/'
    DIRECTORY = ( ENABLE = true )
    CREDENTIALS = (AWS_KEY_ID = <aws_key_id>
    AWS_SECRET_KEY = <aws_secret_key>)
    ENCRYPTION = ( TYPE = 'AWS_SSE_S3' );

Processamento de imagens¶

A função COMPLETE processa uma única imagem ou várias imagens (por exemplo, extraindo diferenças em entidades em várias imagens). A chamada de função especifica o seguinte:

• O modelo multimodal a ser usado

• Um prompt

• O caminho do estágio do(s) arquivo(s) de imagem por meio de um objeto FILE

Exemplo com uma imagem¶

O exemplo a seguir usa o modelo Claude Sonnet 3.5 do Anthropic para resumir um gráfico de pizza science-employment-slide.jpeg armazenado no estágio @myimages.

SELECT AI_COMPLETE('claude-3-5-sonnet',
    'Summarize the insights from this pie chart in 100 words',
    TO_FILE('@myimages', 'science-employment-slide.jpeg'));

Copy

Resposta:

This pie chart shows the distribution of occupations where mathematics is considered "extremely important" in 2023.
Data scientists dominate with nearly half (48.7%) of all such positions, followed by operations research analysts
at 29.6%. The remaining positions are distributed among statisticians (7.8%), actuaries (7.2%), physicists (5.1%),
mathematicians (0.6%), and other mathematical science occupations (1.1%). This distribution highlights the growing
importance of data science in mathematics-intensive careers, while traditional mathematics roles represent a smaller
share of the workforce.

Exemplo com várias imagens¶

Nota

Atualmente, apenas os modelos Anthropic (claude) e Meta (llama) podem fazer referência a várias imagens em um único prompt. O suporte a várias imagens para outros modelos poderá estar disponível em um lançamento futuro.

Use a função auxiliar PROMPT para processar várias imagens em uma única chamada COMPLETE. O exemplo a seguir usa o modelo Claude Sonnet 3.5 da Anthropic para comparar dois criativos de anúncios diferentes do estágio @myimages.

SELECT AI_COMPLETE('claude-3-5-sonnet',
    PROMPT('Compare this image {0} to this image {1} and describe the ideal audience for each in two concise bullets no longer than 10 words',
    TO_FILE('@myimages', 'adcreative_1.png'),
    TO_FILE('@myimages', 'adcreative_2.png')
));

Copy

Resposta:

First image ("Discover a New Energy"):
• Conservative luxury SUV buyers seeking a subtle transition to electrification

Second image ("Electrify Your Drive"):
• Young, tech-savvy urbanites attracted to bold, progressive automotive design

Limitações do modelo¶

Todos os modelos disponíveis para o Snowflake Cortex têm limitações quanto ao número total de tokens de entrada e saída, conhecido como a janela de contexto do modelo. O tamanho da janela de contexto é medido em tokens. As entradas que excedem o limite da janela de contexto resultam em um erro.

Para modelos de texto, os tokens geralmente representam aproximadamente quatro caracteres de texto, portanto, a contagem de palavras correspondente a um limite é menor que a contagem de tokens.

Para modelos de imagem, a contagem de tokens por imagem depende da arquitetura do modelo de visão. Os tokens em um prompt (por exemplo, “que animal é esse?”) também contribuem para a janela de contexto do modelo.

Considerações sobre custo¶

O faturamento é escalonado de acordo com o número de tokens processados. O número de tokens por imagem depende da arquitetura do modelo de visão.

• A fórmula dos modelos antrópicos (claude) é aproximadamente: tokens = (largura em pixels × altura em pixels)/750.

• Os modelos Mistral (pixtral) dividem cada imagem em lotes de 16 × 16 pixels e convertem cada lote em um token. O número total de tokens é equivalente a aproximadamente (largura em pixels/16) * (altura em pixels/16).

• Os modelos Meta (llama) tentam colocar a imagem em blocos quadrados. Dependendo da proporção e do tamanho da imagem, o número de blocos pode ser de até 16, cada uma representada por cerca de 153 tokens.

Escolha de um modelo de visão¶

A função COMPLETE é compatível com vários modelos de capacidade, latência e custo variados. Para obter o melhor desempenho por crédito, escolha um modelo que se alinhe ao tamanho do conteúdo e à complexidade da tarefa.

Os benchmarks são:

• MMMU: avalia modelos multimodais em tarefas multidisciplinares que exigem raciocínio de nível universitário.

• Mathvista: referência de raciocínio matemático em um contexto visual.

• ChartQA: avalia questões de raciocínio complexas sobre gráficos.

• DocVQA e VQv2: benchmarks para responder a perguntas visuais em documentos.

Disponibilidade regional¶

O suporte a esse recurso está disponível nativamente para contas nas seguintes regiões do Snowflake:

A multimodal COMPLETE está disponível em outras regiões por meio de Inferência entre regiões.

Condições de erro¶

Jurídico¶

A classificação dos dados de entradas e saídas é definido na tabela a seguir.

Para obter informações adicionais, consulte AI e ML Snowflake.