Funções de Large Language Model (LLM) (Snowflake Cortex)¶

Funções disponíveis¶

Os recursos do Snowflake Cortex são fornecidos como funções SQL e também estão disponíveis em Python. As funções de LLM do Cortex podem ser agrupadas nas seguintes categorias:

• Função COMPLETE

• Funções específicas da tarefa

• Funções auxiliares

Privilégios obrigatórios¶

A função de banco de dados CORTEX_USER no banco de dados SNOWFLAKE inclui os privilégios que permitem aos usuários chamar funções de LLM do Snowflake Cortex. Por padrão, a função CORTEX_USER é concedida à função PUBLIC. A função PUBLIC é concedida automaticamente a todos os usuários e funções, portanto, isto permite que todos os usuários em sua conta usem as funções de LLM do Snowflake Cortex.

Se não quiser que todos os usuários tenham esse privilégio, você pode revogar o acesso à função PUBLIC e conceder acesso a funções específicas.

Para revogar a função de banco de dados CORTEX_USER da função PUBLIC, execute os seguintes comandos usando a função ACCOUNTADMIN:

REVOKE DATABASE ROLE SNOWFLAKE.CORTEX_USER
  FROM ROLE PUBLIC;

REVOKE IMPORTED PRIVILEGES ON DATABASE SNOWFLAKE
  FROM ROLE PUBLIC;

Você poderá então fornecer acesso seletivamente a funções específicas. A função de banco de dados SNOWFLAKE.CORTEX_USER não pode ser concedida diretamente a um usuário. Para obter mais informações, consulte Como usar as funções de banco de dados SNOWFLAKE. Um usuário com a função ACCOUNTADMIN pode conceder esta função a uma função personalizada para permitir que os usuários acessem as funções de LLM do Cortex. No exemplo a seguir, use a função ACCOUNTADMIN e conceda ao usuário some_user a função de banco de dados CORTEX_USER por meio da função de conta cortex_user_role, que você cria para essa finalidade.

USE ROLE ACCOUNTADMIN;

CREATE ROLE cortex_user_role;
GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE cortex_user_role;

GRANT ROLE cortex_user_role TO USER some_user;

Você também pode conceder acesso às funções de LLM do Snowflake Cortex por meio de funções existentes comumente usadas por grupos específicos de usuários. (Consulte Funções do usuário.) Por exemplo, se você criou uma função analyst usada como função padrão pelos analistas da sua organização, poderá conceder facilmente a esses usuários acesso às funções de LLM do Snowflake Cortex com uma única instrução GRANT.

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE analyst;

Disponibilidade¶

As funções de LLM do Snowflake Cortex estão atualmente disponíveis nas seguintes regiões. Para acessar LLMs de regiões não listadas, use o parâmetro de inferência entre regiões.

As seguintes funções de LLM do Snowflake Cortex estão atualmente disponíveis nas seguintes regiões estendidas.

A tabela a seguir lista modelos de legado. Se você estiver apenas começando, comece com os modelos das tabelas anteriores:

Considerações sobre custo¶

As funções de LLM do Snowflake Cortex incorrem em custos de computação com base no número de tokens processados. Consulte a Tabela de consumo do serviço Snowflake para o custo de cada função em créditos por milhão de tokens.

Um token é a menor unidade de texto processada pelas funções de LLM do Snowflake Cortex, aproximadamente igual a quatro caracteres. A equivalência do texto bruto de entrada ou saída com tokens pode variar de acordo com o modelo.

• Para funções que geram novo texto na resposta (COMPLETE, CLASSIFY_TEXT, SUMMARIZE e TRANSLATE), os tokens de entrada e de saída são contados.

• Para CORTEX GUARD, somente os tokens de entrada são contados. O número de tokens de entrada é baseado no número de tokens de saída por modelo de LLM usado na função COMPLETE.

• Para as funções EMBED_TEXT_*, apenas tokens de entrada são contados.

• Para funções que extraem apenas informações da entrada (EXTRACT_ANSWER e SENTIMENT), apenas os tokens de entrada são contados.

• Para EXTRACT_ANSWER, o número de tokens faturáveis é a soma do número de tokens nos campos from_text e question.

• SUMMARIZE, TRANSLATE, EXTRACT_ANSWER, CLASSIFY_TEXT e SENTIMENT adicionam um prompt ao texto de entrada para gerar a resposta. Como resultado, a contagem de tokens de entrada é um pouco maior que o número de tokens no texto fornecido.

• TRY_COMPLETE não incorre em custos para tratamento de erro. Isso significa que se a função TRY_COMPLETE retornar NULL, nenhum custo será incorrido.

• COUNT_TOKENS incorre apenas em custo de computação para executar a função. Não há custos adicionais baseados em token.

A Snowflake recomenda executar consultas que chamam uma função de LLM do Snowflake Cortex ou a função PARSE_DOCUMENT do Cortex com um warehouse menor (não maior que MEDIUM) porque warehouses maiores não aumentam o desempenho. O custo associado à manutenção de um warehouse ativo continuará a ser aplicado ao executar uma consulta que chama uma função de LLM do Snowflake Cortex. Para obter informações gerais sobre custos de computação, consulte Compreensão do custo de computação.

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.METERING_DAILY_HISTORY
  WHERE SERVICE_TYPE='AI_SERVICES';

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_USAGE_HISTORY;

Cotas de uso¶

Para garantir que todos os clientes Snowflake possam acessar as funcionalidades de LLM, as funções de LLM do Snowflake Cortex podem estar sujeitas a limitações durante períodos de alta utilização. As cotas de uso não são aplicadas ao nível da conta.

As solicitações limitadas receberão uma resposta de erro e devem ser tentadas novamente mais tarde.

Gerenciamento de custos e limitação¶

Snowflake recomenda usar um tamanho de warehouse não maior que MEDIUM ao chamar funções de LLM do Snowflake Cortex. Utilizar um warehouse maior do que o necessário não aumenta o desempenho, mas pode resultar em custos desnecessários e num maior risco de limitação. Esta recomendação pode não se aplicar no futuro devido a atualizações futuras do produto.

Restrições de modelo¶

Os modelos usados pelo Snowflake Cortex têm limitações de tamanho conforme descrito na tabela abaixo. Os tamanhos são fornecidos em tokens. Os tokens geralmente representam cerca de quatro caracteres de texto, portanto, o número de palavras correspondentes a um limite é menor que o número de tokens. As entradas que excedem o limite resultam em erro.

Escolha de um modelo¶

A função COMPLETE do Snowflake Cortex oferece suporte a vários modelos de capacidade, latência e custo variados. Esses modelos foram cuidadosamente escolhidos para se alinharem aos casos de uso comuns dos clientes. Para obter o melhor desempenho por crédito, escolha um modelo que corresponda bem ao tamanho do conteúdo e à complexidade da sua tarefa. Aqui estão breves visões gerais dos modelos disponíveis.

Visão geral das funções de LLM¶

As funções de LLM do Cortex podem ser agrupadas nas seguintes categorias:

• Função COMPLETE: função de uso geral que pode executar uma ampla gama de tarefas especificadas pelo usuário, como classificação de sentimentos baseada em aspectos, geração de dados sintéticos e resumos personalizados. Você também pode usar essa função com seus modelos com ajuste fino.

• Funções específicas para tarefas: funções específicas e gerenciadas que automatizam as tarefas de rotina, como resumos simples e traduções rápidas, que não exigem nenhuma personalização.

• Funções auxiliares: funções gerenciadas e criadas especificamente para reduzir casos de falhas ao executar outras funções de LLM, por exemplo, obtendo a contagem de tokens em um prompt de entrada para garantir que a chamada não exceda um limite do modelo.

Condições de erro¶

As funções de LLM do Snowflake Cortex podem produzir as seguintes mensagens de erro.

Uso das funções de LLM do Snowflake Cortex com Python¶

As funções de LLM do Snowflake Cortex estão disponíveis no Snowpark ML versão 1.1.2 e posterior. Consulte Como usar o Snowflake ML localmente para obter instruções sobre como configurar o Snowpark ML.

Se você executar seu script Python fora do Snowflake, deverá criar uma sessão do Snowpark para usar essas funções. Consulte Conexão ao Snowflake para obter instruções.

O exemplo Python a seguir ilustra a chamada de funções de LLM do Snowflake Cortex em valores únicos:

from snowflake.cortex import Complete, ExtractAnswer, Sentiment, Summarize, Translate, ClassifyText

text = """
    The Snowflake company was co-founded by Thierry Cruanes, Marcin Zukowski,
    and Benoit Dageville in 2012 and is headquartered in Bozeman, Montana.
"""

print(Complete("llama2-70b-chat", "how do snowflakes get their unique patterns?"))
print(ExtractAnswer(text, "When was snowflake founded?"))
print(Sentiment("I really enjoyed this restaurant. Fantastic service!"))
print(Summarize(text))
print(Translate(text, "en", "fr"))
print(ClassifyText("France", ["Europe", "Asia"]))

Você também pode chamar uma função de LLM em uma coluna da tabela, conforme mostrado abaixo. Este exemplo requer um objeto de sessão (armazenado em session) e uma tabela articles contendo uma coluna de texto abstract_text e cria uma nova coluna abstract_summary contendo um resumo do abstract.

from snowflake.cortex import Summarize
from snowflake.snowpark.functions import col

article_df = session.table("articles")
article_df = article_df.withColumn(
    "abstract_summary",
    Summarize(col("abstract_text"))
)
article_df.collect()

Uso das funções de LLM do Snowflake Cortex com Snowflake CLI¶

As funções de LLM do Snowflake Cortex estão disponíveis na Snowflake CLI versão 2.4.0 e posteriores. Consulte Apresentação do Snowflake CLI para obter mais informações sobre o uso de Snowflake CLI.

Os exemplos a seguir ilustram o uso dos comandos snow cortex em valores únicos. O parâmetro -c especifica qual conexão usar.

snow cortex complete "Is 5 more than 4? Please answer using one word without a period." -c "snowhouse"

snow cortex extract-answer "what is snowflake?" "snowflake is a company" -c "snowhouse"

snow cortex sentiment "Mary had a little Lamb" -c "snowhouse"

snow cortex summarize "John has a car. John's car is blue. John's car is old and John is thinking about buying a new car. There are a lot of cars to choose from and John cannot sleep because it's an important decision for John."

snow cortex translate herb --to pl

Você também pode usar arquivos que contenham o texto que deseja usar para os comandos. Para este exemplo, suponha que o arquivo about_cortex.txt tenha o seguinte conteúdo:

Snowflake Cortex gives you instant access to industry-leading large language models (LLMs) trained by researchers at companies like Mistral, Reka, Meta, and Google, including Snowflake Arctic, an open enterprise-grade model developed by Snowflake.

Since these LLMs are fully hosted and managed by Snowflake, using them requires no setup. Your data stays within Snowflake, giving you the performance, scalability, and governance you expect.

Snowflake Cortex features are provided as SQL functions and are also available in Python. The available functions are summarized below.

COMPLETE: Given a prompt, returns a response that completes the prompt. This function accepts either a single prompt or a conversation with multiple prompts and responses.
EMBED_TEXT_768: Given a piece of text, returns a vector embedding that represents that text.
EXTRACT_ANSWER: Given a question and unstructured data, returns the answer to the question if it can be found in the data.
SENTIMENT: Returns a sentiment score, from -1 to 1, representing the detected positive or negative sentiment of the given text.
SUMMARIZE: Returns a summary of the given text.
TRANSLATE: Translates given text from any supported language to any other.

Você pode então executar o comando snow cortex summarize passando o nome do arquivo usando o parâmetro --file, conforme mostrado:

snow cortex summarize --file about_cortex.txt

Snowflake Cortex offers instant access to industry-leading language models, including Snowflake Arctic, with SQL functions for completing prompts (COMPLETE), text embedding (EMBED\_TEXT\_768), extracting answers (EXTRACT\_ANSWER), sentiment analysis (SENTIMENT), summarizing text (SUMMARIZE), and translating text (TRANSLATE).

Para obter mais informações sobre esses comandos, consulte snow cortex commands.

Avisos legais¶

A classificação dos dados de entradas e saídas é definido na tabela a seguir.

Para obter informações adicionais, consulte AI e ML Snowflake.