Cortex LLM REST API¶

비용 고려 사항¶

Snowflake Cortex LLM REST API 요청은 처리된 토큰 수에 따라 컴퓨팅 비용이 발생합니다. 백만 토큰당 크레딧으로 표시되는 각 함수의 비용은 Snowflake 서비스 사용 테이블 을 참조하십시오. 토큰은 Snowflake Cortex LLM 함수가 처리하는 가장 작은 텍스트 단위로, 대략 텍스트 4자와 같습니다. 원시 입력 또는 출력 텍스트와 토큰의 동등성은 모델에 따라 다를 수 있습니다.

COMPLETE 함수는 입력 프롬프트가 주어지면 새 텍스트를 생성합니다. 입력 토큰과 출력 토큰 모두 컴퓨팅 비용이 발생합니다. COMPLETE를 사용하여 대화 또는 채팅 사용자 경험을 제공하는 경우 이전의 모든 프롬프트와 응답이 처리되어 각각의 새로운 응답이 생성되며 그에 따른 비용이 발생합니다.

사용 할당량¶

모든 Snowflake 고객에게 높은 수준의 성능을 보장하기 위해, Snowflake Cortex LLM RESTAPI 요청에는 그 이상 사용할 경우 요청이 제한될 수 있는 사용 할당량이 적용됩니다. Snowflake는 때때로 이러한 할당량을 조정할 수 있습니다. 아래 테이블의 할당량은 계정별로 적용되며 각 모델에 독립적으로 적용됩니다.

COMPLETE 엔드포인트¶

/api/v2/cortex/inference:complete 엔드포인트는 SQL COMPLETE 함수를 실행합니다. 이는 다음과 같은 형식을 갖습니다.

POST https://<account_identifier>.snowflakecomputing.com/api/v2/cortex/inference:complete

여기서 account_identifier 는 Snowsight에 액세스하는 데 사용하는 계정 식별자 입니다.

인증 설정하기¶

Cortex LLM REST API의 인증에는 키 페어 인증 이 사용됩니다. 이를 위해서는 RSA 키 페어를 생성하고 해당 공개 키를 사용자에게 할당해야 하며, 이 작업은 SECURITYADMIN 역할(또는 SECURITYADMIN이 부여된 다른 역할, 예: ACCOUNTADMIN)을 사용하여 수행되어야 합니다. 단계별 지침은 키 페어 인증 구성하기 섹션을 참조하십시오.

API 요청을 하려면 공개 키를 사용하여 JSON 웹 토큰 (JWT)을 생성하고 요청 의 헤더에 전달합니다.

승인 설정하기¶

키 페어를 생성하고 사용자에게 공개 키를 할당한 후 해당 사용자의 기본 역할은 LLM 함수를 사용할 수 있는 권한이 포함된 snowflake.cortex_user 데이터베이스 역할을 가져야 합니다. 대부분의 경우 PUBLIC 역할에 이 권한이 자동으로 부여되고 모든 역할이 PUBLIC을 상속하므로 사용자는 이미 이 권한을 가지고 있습니다.

Snowflake 관리자가 개별 사용자를 옵트인하는 것을 선호하는 경우 PUBLIC에서 snowflake.cortex_user 를 취소했을 수 있으며, 다음과 같이 Cortex LLM REST API를 사용할 수 있어야 하는 사용자에게 이 역할을 부여해야 합니다.

GRANT DATABASE ROLE snowflake.cortex_user TO ROLE MY_ROLE;
GRANT ROLE MY_ROLE TO USER MY_USER;

ALTER USER MY_USER SET DEFAULT_ROLE=MY_ROLE

요청 제출하기¶

POSTing이 API의 REST 엔드포인트로 Cortex LLM REST API에 요청을 보냅니다. Authorization 헤더에는 공개 키에서 생성된 JSON 웹 토큰이 포함되어야 하며, 다음 명령을 통해 snowsql 을 사용하여 이를 수행할 수 있습니다. 생성된 JWT는 1시간 후에 만료됩니다.

snowsql -a <account_identifier> -u <user> --private-key-path <path>/rsa_key.p8 --generate-jwt

요청 본문은 모델, 프롬프트 또는 대화 기록, 옵션을 지정하는 JSON 오브젝트입니다. 자세한 내용은 다음 API 참조를 참조하십시오.

API 참조¶

예¶

다음 예제는 curl 을 사용하여 COMPLETE 요청을 하는 예제입니다. 이 명령에서 jwt, prompt, account_identifier 를 적절한 값으로 바꿉니다.

curl -X POST \
    -H 'X-Snowflake-Authorization-Token-Type: KEYPAIR_JWT' \
    -H "Authorization: Bearer <jwt>" \
    -H 'Content-Type: application/json' \
    -H 'Accept: application/json, text/event-stream' \
    -d '{
    "model": "mistral-large",
    "messages": [
        {
            "content": "<prompt>"
        }
    ],
    "top_p": 0,
    "temperature": 0
    }' \
https://<account_identifier>.snowflakecomputing.com/api/v2/cortex/inference:complete

data: {
data:  "id": "65c5e2ac-529b-461e-8a8c-f80655e6bd3f",
data:  "created": 1723493954,
data:  "model": "mistral-7b",
data:  "choices": [
data:    {
data:      "delta": {
data:        "content": "Cor"
data:        }
data:      }
data:     ],
data:  "usage": {
data:    "prompt_tokens": 57,
data:    "completion_tokens": 1,
data:    "total_tokens": 58
data:  }
data: }

data: {
data:  "id": "65c5e2ac-529b-461e-8a8c-f80655e6bd3f",
data:  "created": 1723493954,
data:  "model": "mistral-7b",
data:  "choices": [
data:    {
data:      "delta": {
data:        "content": "tex"
data:        }
data:      }
data:     ],
data:  "usage": {
data:    "prompt_tokens": 57,
data:    "completion_tokens": 2,
data:    "total_tokens": 59
data:  }
data: }

Python API¶

Python API를 설치하려면 다음을 사용합니다.

pip install snowflake-ml-python

Python API는 버전 1.6.1부터 snowflake-ml-python 패키지에 포함되어 있습니다.

from snowflake.snowpark import Session
from snowflake.cortex import Complete

session = Session.builder.configs(...).create()

stream = Complete(
  "mistral-7b",
  "What are unique features of the Snowflake SQL dialect?",
  session=session,
  stream=True)

for update in stream:
  print(update)