Funções de Large Language Model (LLM) (Snowflake Cortex)¶

Privilégios obrigatórios¶

A função de banco de dados CORTEX_USER no banco de dados SNOWFLAKE inclui os privilégios que permitem aos usuários chamar funções de LLM do Snowflake Cortex. Por padrão, essa função de banco de dados é concedida apenas à função ACCOUNTADMIN. ACCOUNTADMIN deve propagar esta função para funções de usuário para permitir que os usuários acessem as funções de LLM do Cortex.

A função de banco de dados SNOWFLAKE.CORTEX_USER não pode ser concedida diretamente a um usuário. Um usuário com a função ACCOUNTADMIN deve primeiro concedê-la a uma função de conta e, em seguida, conceder a função de conta aos usuários. Para obter mais informações, consulte Uso das funções de banco de dados SNOWFLAKE.

No exemplo a seguir, você assume ACCOUNTADMIN e concede ao usuário some_user a função de banco de dados CORTEX_USER por meio da função de conta cortex_user_role, que você cria para essa finalidade.

USE ROLE ACCOUNTADMIN;

CREATE ROLE cortex_user_role;
GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE cortex_user_role;

GRANT ROLE cortex_user_role TO USER some_user;

Você também pode conceder acesso às funções de LLM do Snowflake Cortex por meio de funções existentes comumente usadas por grupos específicos de usuários. (Consulte Funções do usuário.) Por exemplo, se você criou uma função analyst usada como função padrão pelos analistas da sua organização, poderá conceder facilmente a esses usuários acesso às funções de LLM do Snowflake Cortex com uma única instrução GRANT.

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE analyst;

A pseudofunção PUBLIC é concedida automaticamente a todos os usuários e funções, portanto, conceder cortex_user_role a PUBLIC permite que todos os usuários em sua conta usem as funções de LLM do Snowflake Cortex.

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE PUBLIC;

Disponibilidade¶

As funções de LLM do Snowflake Cortex estão atualmente disponíveis nas seguintes regiões.

Considerações sobre custo¶

As funções de LLM do Snowflake Cortex incorrem em custos de computação com base no número de tokens processados. A tabela abaixo mostra o custo em créditos por 1 milhão de tokens para cada função.

• Para funções que geram novo texto na resposta (COMPLETE, SUMMARIZE e TRANSLATE), os tokens de entrada e de saída são contados.

• Para funções que extraem apenas informações da entrada (EXTRACT_ANSWER e SENTIMENT), apenas os tokens de entrada são contados.

• Para EXTRACT_ANSWER, o número de tokens faturáveis é a soma do número de tokens nos campos from_text e question.

Para obter informações gerais sobre custos de computação, consulte Explicação dos custos de computação.

O uso das funções de LLM do Snowflake Cortex aparece na exibição METERING_DAILY_HISTORY do Organization Usage do Snowflake com um tipo de serviço de AI_SERVICES. Para visualizar o consumo de crédito dos serviços de AI para todas as contas de uma organização, use a consulta a seguir.

SELECT * FROM SNOWFLAKE.ORGANIZATION_USAGE.METERING_DAILY_HISTORY
    WHERE service_type ILIKE '%ai_services%';

Cotas de uso¶

Para garantir um alto padrão de desempenho para todos os clientes do Snowflake, as funções de LLM do Snowflake Cortex estão sujeitas a cotas de uso além das quais as solicitações podem ser limitadas. A Snowflake pode ajustar essas cotas de tempos em tempos. As cotas na tabela abaixo são aplicadas por conta.

Gerenciamento de custos e limitação¶

Durante esta versão preliminar, Snowflake recomenda usar um tamanho de warehouse não maior que MEDIUM ao chamar funções de LLM do Snowflake Cortex. Utilizar um warehouse maior do que o necessário não aumenta o desempenho, mas pode resultar em custos desnecessários e num maior risco de limitação. Esta recomendação pode não se aplicar no futuro devido a futuras atualizações do produto.

Restrições de modelo¶

Os modelos usados pelo Snowflake Cortex têm limitações de tamanho conforme descrito na tabela abaixo. Os tamanhos são fornecidos em tokens. Os tokens geralmente correspondem a palavras, mas nem todos os tokens são palavras, portanto o número de palavras correspondentes a um limite é ligeiramente menor que o número de tokens. As entradas que excedem o limite resultam em erro.

Escolha de um modelo¶

A função COMPLETE do Snowflake Cortex oferece suporte a vários modelos de capacidade, latência e custo variados. Esses modelos foram cuidadosamente escolhidos para se alinharem aos casos de uso comuns dos clientes. Para obter o melhor desempenho por crédito, escolha um modelo que corresponda bem ao tamanho do conteúdo e à complexidade da sua tarefa. Aqui estão breves visões gerais dos modelos disponíveis.

• mistral-large é um modelo de primeira linha com boa pontuação em uma variedade de métricas (veja a tabela abaixo). Ele apresenta uma janela de contexto de 32.000 tokens (cerca de 24.000 palavras), permitindo que ele se envolva em raciocínios complexos em conversas extensas. É também o modelo que exige mais computação dos modelos oferecidos pelo Snowflake Cortex e, portanto, o mais caro de operar.

• mixtral-8x7b fornece baixa latência e resultados de alta qualidade, além de oferecer suporte a um comprimento de contexto de 32.000 tokens. É ideal para muitos casos de uso de produção empresarial.

• llama2-70b-chat é adequado para tarefas complexas e de grande escala que exigem uma quantidade moderada de raciocínio, como extrair dados ou ajudá-lo a escrever descrições de cargos.

• mistral-7b e gemma-7b são capazes de executar tarefas simples com rapidez e melhor eficiência de custos.

  • mistral-7b é ideal para tarefas mais simples de resumo e classificação que exigem um menor grau de personalização. Seu limite de token 32.000 permite processar várias páginas de texto.

  • gemma-7b é adequado para tarefas simples de conclusão de código e texto. Ele tem uma janela de contexto de 8.000 tokens, mas é surpreendentemente capaz dentro desse limite e bastante econômico.

Se você não sabe por onde começar, experimente mistral-large primeiro, mesmo que já esteja usando outro modelo de nível superior ou seja novo em LLMs. É o modelo com maior capacidade oferecido pelo Snowflake Cortex e lhe dará uma boa ideia do que um modelo de última geração pode fazer. Seus resultados podem ser usados como base na avaliação de outros modelos.

Para ajudar você a decidir, a tabela a seguir fornece informações sobre o desempenho dos modelos populares em vários benchmarks, incluindo os modelos oferecidos pelo Snowflake Cortex COMPLETE, bem como alguns outros modelos populares.

^*Fornecido para comparação; não disponível no Snowflake Cortex COMPLETE.

Visão geral das funções de LLM¶

Condições de erro¶

As funções de LLM do Snowflake Cortex podem produzir as seguintes mensagens de erro.

Uso das funções de LLM do Snowflake Cortex com Python¶

As funções de LLM do Snowflake Cortex estão disponíveis no Snowpark ML versão 1.1.2 e posterior. Consulte Instalação do Snowpark ML para obter instruções sobre como configurar o Snowpark ML.

Se você executar seu script Python fora do Snowflake, deverá criar uma sessão do Snowpark para usar essas funções. Consulte Conexão ao Snowflake para obter instruções.

O exemplo Python a seguir ilustra a chamada de funções de LLM do Snowflake Cortex em valores únicos:

from snowflake.cortex import Complete, ExtractAnswer, Sentiment, Summarize, Translate

text = """
    The Snowflake company was co-founded by Thierry Cruanes, Marcin Zukowski,
    and Benoit Dageville in 2012 and is headquartered in Bozeman, Montana.
"""

print(Complete("llama2-70b-chat", "how do snowflakes get their unique patterns?"))
print(ExtractAnswer(text, "When was snowflake founded?"))
print(Sentiment("I really enjoyed this restaurant. Fantastic service!"))
print(Summarize(text))
print(Translate(text, "en", "fr"))

Você também pode chamar uma função de LLM em uma coluna da tabela, conforme mostrado abaixo. Este exemplo requer um objeto de sessão (armazenado em session) e uma tabela articles contendo uma coluna de texto abstract_text e cria uma nova coluna abstract_summary contendo um resumo do abstract.

from snowflake.cortex import Summarize
from snowflake.snowpark.functions import col

article_df = session.table("articles")
article_df = article_df.withColumn(
    "abstract_summary",
    Summarize(col("abstract_text"))
)
article_df.collect()

Avisos legais¶

As funções do Snowflake Cortex LLM são baseadas em tecnologia de aprendizado de máquina, incluindo LLaMA 2 do Meta. O modelo básico LLaMA 2 é licenciado sob a LLaMA 2 Licença Comunitária e Copyright (c) Meta Platforms, Inc. Todos os direitos reservados. O uso de qualquer função LLM baseada no modelo LLama 2 está sujeito à Política de uso aceitável da Meta.

A tecnologia de aprendizado de máquina e os resultados fornecidos podem ser imprecisos, inadequados ou tendenciosos. As decisões baseadas em resultados de aprendizado de máquina, incluindo aquelas incorporadas em pipelines automáticos, devem ter supervisão humana e processos de revisão para garantir que o conteúdo gerado pelo modelo seja preciso.

As consultas de função de LLM serão tratadas como qualquer outra consulta SQL e podem ser consideradas metadados.

Para obter mais informações, consulte FAQ sobre confiança e segurança do Snowflake AI.