Taxa de transferência provisionada¶

Visão geral¶

Use a taxa de transferência provisionada para reservar taxa de transferência para inferência gerenciada no Snowflake Cortex. Você especifica o tamanho da taxa de transferência como unidade de taxa de transferência provisionada (PTU), e o Cortex aloca a capacidade necessária para o período de um mês. Você pode usar as PTUs em suas chamadas REST API para obter uma experiência consistente para o usuário final. A funcionalidade está disponível para os seguintes modelos nas nuvens AWS e Azure:

• Mistral Large 2

• Llama 3.1-405B

• Llama 3.1-70B

• Llama 3.1-8B

• Snowflake-Llama3.3-70B

• Snowflake-Llama3.3-405B

Requisitos de controle de acesso¶

Os usuários devem usar uma função que tenha recebido a função de banco de dados SNOWFLAKE.CORTEX_USER com o privilégio USAGE no ID de PT. Para obter mais informações sobre esse privilégio, consulte Privilégios.

GRANT CREATE PROVISIONED THROUGHPUT ON ACCOUNT TO ROLE <role>

GRANT USAGE ON PROVISIONED THROUGHPUT <pt_id> TO ROLE <role>

Requisitos mínimos de unidade de taxa de transferência provisionada¶

A taxa de transferência provisionada está sujeita aos requisitos mínimos e incrementais do PTU. Cada modelo ou recurso na coluna Mínimo de PTUs mostra o número mínimo de PTUs que você deve solicitar. Se você solicitar menos PTUs do que o mínimo, sua solicitação será rejeitada.

Se você precisar de mais rendimento do que o mínimo oferecido pelas PTUs ao modelo, precisará de PTUs adicionais. A coluna Incrementar PTUs mostra os incrementos de PTU que excedem o mínimo de PTUs que você pode solicitar. As solicitações devem especificar as PTUs de forma que o valor que exceder o mínimo seja um múltiplo inteiro do incremento; caso contrário, a solicitação será rejeitada.

A tabela abaixo lista os modelos disponíveis, o mínimo de PTUs exigido para cada modelo e os requisitos de incremento para as PTUs adicionais além do mínimo.

Determinação do tamanho da PTU¶

As PTUs necessárias para seu aplicativo depende do perfil da carga de trabalho. Por exemplo, no Llama 3.1-8B, uma carga de trabalho com 500 solicitações por minuto (RPM) e 500 tokens por saída de solicitação tem um mínimo de 64 PTUs. Ele fornece 960 mil tokens de rendimento por minuto. Se você precisar de mais rendimento, poderá solicitar mais PTUs em incrementos de 32.

Quando estiver começando, você pode usar o mínimo de PTUs para o modelo e adicionar incrementos conforme necessário.

Considerações sobre custo¶

Durante o período da taxa de transferência provisionada, você consome créditos por PTU por hora à taxa listada na Tabela de consumo de créditos Snowflake. Você incorre em cobranças para as PTUs alocadas, independentemente de seu uso real durante o período. O período começa e termina às 8 horas. PT para as datas fornecidas na criação da taxa de transferência provisionada.

A taxa de transferência provisionada não é renovada automaticamente. Para reservar a taxa de transferência para outro período, consulte a seção a seguir.

Reserva de taxa de transferência¶

Este tutorial orienta você no processo de reservar e usar a taxa de transferência provisionada em uma chamada REST API para a função Cortex COMPLETE.

CREATE PROVISIONED THROUGHPUT my_pt CLOUD_PROVIDER='aws', MODEL='llama3.1-8B', PTUS=64, TERM_START='2025-04-15' TERM_END='2025-05-15'

DESCRIBE PROVISIONED THROUGHPUT my_pt

curl --location 'https://some-account-identifier.snowflakecomputing.com/api/v2/cortex/inference:complete' \
--header 'X-Snowflake-Authorization-Token-Type: KEYPAIR_JWT' \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header 'Authorization: ••••••' \
--data '{
  "model": "snowflake-llama-3.1-8b",
  "messages": [
  {
      "content": "Write an essay on the benefits of provisioned throughput."
  }
  ],
  "provisioned_throughput_id": "f3a27d60-f61f-4247-8aa3-6272ea0d7a8d"
}'