프로비저닝된 처리량¶

개요¶

프로비저닝된 처리량을 사용하여 관리되는 추론에 대한 처리량을 Snowflake Cortex에 예약합니다. 처리량 크기를 프로비저닝된 처리량 단위(PTU)로 지정하면 Cortex가 1개월 동안 필요한 용량을 할당합니다. 일관된 최종 사용자 경험을 위해 REST API 호출에 PTUs 를 사용할 수 있습니다. 이 기능은 AWS 및 Azure 클라우드의 다음 모델에서 사용할 수 있습니다.

• Mistral Large 2

• Llama 3.1-405B

• Llama 3.1-70B

• Llama 3.1-8B

• Snowflake-Llama3.3-70B

• Snowflake-Llama3.3-405B

액세스 제어 요구 사항¶

사용자는 PT ID 에 대한 USAGE 권한이 있는 SNOWFLAKE.CORTEX_USER 데이터베이스 역할을 부여받은 역할을 사용해야 합니다. 이 권한에 대한 자세한 내용은 권한 섹션을 참조하십시오.

GRANT CREATE PROVISIONED THROUGHPUT ON ACCOUNT TO ROLE <role>

GRANT USAGE ON PROVISIONED THROUGHPUT <pt_id> TO ROLE <role>

최소 프로비저닝된 처리량 단위 요구 사항¶

프로비저닝된 처리량에는 최소 및 증분 PTU 요구 사항이 적용됩니다. 최소 PTUs 열의 각 모델 또는 기능에는 요청해야 하는 최소 PTUs 개수가 표시됩니다. 최소값보다 적은 PTUs 를 요청하면 요청이 거부됩니다.

모델에 대한 최소 PTUs 제공보다 더 많은 처리량이 필요한 경우 추가 PTUs 가 필요합니다. 증분 PTUs 열에는 요청할 수 있는 최소값 PTUs 를 초과하는 PTU 증분이 표시됩니다. 요청은 최소값을 초과하는 양이 증분의 정수 배수가 되도록 PTUs 를 지정해야 하며, 그렇지 않으면 요청이 거부됩니다.

아래 테이블에는 사용 가능한 모델, 각 모델의 필수 최소 PTUs 및 최소값을 초과하는 추가 PTUs 에 대한 증분 요구 사항이 나열되어 있습니다.

PTU 크기 결정¶

애플리케이션의 필수 PTUs 는 워크로드 프로필에 따라 다릅니다. 예를 들어, Llama 3.1-8B에서 분당 500개의 요청(RPM)과 요청당 500개의 토큰 출력을 가진 워크로드의 최소 요구 사양은 64 PTUs 입니다. 분당 960만 토큰의 처리량을 제공합니다. 더 많은 처리량이 필요한 경우, 32 단위로 추가 PTUs 를 요청할 수 있습니다.

처음 시작할 때는 모델에 최소 PTUs 를 사용하고 필요에 따라 증분을 추가할 수 있습니다.

비용 고려 사항¶

프로비저닝 처리량 기간 동안 시간당 PTU 당 Snowflake Credit Consumption Table 에 나열된 비율로 크레딧을 소비합니다. 기간 중 실제 사용량과 관계없이 할당된 PTUs 요금이 부과됩니다. 기간은 오전 8시에 시작하고 오전 8시에 종료합니다. PT 를 프로비저닝된 처리량 생성에 제공된 날짜로 설정합니다.

프로비저닝된 처리량은 자동으로 갱신되지 않습니다. 다른 기간의 처리량을 예약하려면 다음 섹션을 참조하십시오.

처리량 예약¶

이 자습서에서는 Cortex COMPLETE 함수에 대한 REST API 호출에서 프로비저닝된 처리량을 예약하고 사용하는 과정을 안내합니다.

CREATE PROVISIONED THROUGHPUT my_pt CLOUD_PROVIDER='aws', MODEL='llama3.1-8B', PTUS=64, TERM_START='2025-04-15' TERM_END='2025-05-15'

DESCRIBE PROVISIONED THROUGHPUT my_pt

curl --location 'https://some-account-identifier.snowflakecomputing.com/api/v2/cortex/inference:complete' \
--header 'X-Snowflake-Authorization-Token-Type: KEYPAIR_JWT' \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header 'Authorization: ••••••' \
--data '{
  "model": "snowflake-llama-3.1-8b",
  "messages": [
  {
      "content": "Write an essay on the benefits of provisioned throughput."
  }
  ],
  "provisioned_throughput_id": "f3a27d60-f61f-4247-8aa3-6272ea0d7a8d"
}'