대규모 언어 모델(LLM) 함수(Snowflake Cortex)¶

사용 가능한 함수¶

Snowflake Cortex 기능은 SQL 함수로 제공되며 Python 에서도 사용할 수 있습니다. Cortex LLM 함수는 다음 카테고리로 그룹화할 수 있습니다.

• COMPLETE 함수

• 작업별 함수

• 도우미 함수

필수 권한¶

SNOWFLAKE 데이터베이스의 CORTEX_USER 데이터베이스 역할은 사용자가 Snowflake Cortex LLM 함수를 호출할 수 있는 권한을 포함합니다. 기본적으로 CORTEX_USER 역할은 PUBLIC 역할에 부여됩니다. PUBLIC 역할은 모든 사용자 및 역할에 자동으로 부여되므로 계정의 모든 사용자가 Snowflake Cortex LLM 함수를 사용할 수 있습니다.

모든 사용자에게 이 권한을 부여하지 않으려면 PUBLIC 역할에 대한 액세스를 취소하고 특정 역할에 대한 액세스 권한을 부여하면 됩니다.

PUBLIC 역할에서 CORTEX_USER 데이터베이스 역할을 취소하려면 ACCOUNTADMIN 역할을 사용하여 다음 명령을 실행합니다.

REVOKE DATABASE ROLE SNOWFLAKE.CORTEX_USER
  FROM ROLE PUBLIC;

REVOKE IMPORTED PRIVILEGES ON DATABASE SNOWFLAKE
  FROM ROLE PUBLIC;

그런 다음 특정 역할에 대한 액세스 권한을 선택적으로 제공할 수 있습니다. SNOWFLAKE.CORTEX_USER 데이터베이스 역할을 사용자에게 직접 부여할 수는 없습니다. 자세한 내용은 SNOWFLAKE 데이터베이스 역할 사용하기 섹션을 참조하십시오. ACCOUNTADMIN 역할이 있는 사용자는 사용자 지정 역할에 이 역할을 부여하여 사용자가 Cortex LLM Functions에 액세스할 수 있도록 허용할 수 있습니다. 다음 예제에서는 ACCOUNTADMIN 역할을 사용하고 이를 위해 생성한 계정 역할 cortex_user_role 을 통해 사용자 CORTEX_USER에 some_user 데이터베이스 역할을 부여합니다.

USE ROLE ACCOUNTADMIN;

CREATE ROLE cortex_user_role;
GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE cortex_user_role;

GRANT ROLE cortex_user_role TO USER some_user;

특정 사용자 그룹에서 일반적으로 사용하는 기존 역할을 통해 Snowflake Cortex LLM 함수에 대한 액세스 권한을 부여할 수도 있습니다. (사용자 역할 섹션을 참조하십시오.) 예를 들어 조직의 분석가가 기본 역할로 사용하는 analyst 역할을 만든 경우 단일 GRANT 문으로 이러한 사용자에게 Snowflake Cortex LLM 함수에 대한 액세스 권한을 쉽게 부여할 수 있습니다.

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE analyst;

가용성¶

Snowflake Cortex LLM 함수는 현재 다음 리전에서 사용할 수 있습니다. 목록에 없는 리전에서 LLMs에 액세스하려면 리전 간 추론 매개 변수 를 사용하십시오.

현재 다음 확장 리전에서는 다음과 같은 Snowflake Cortex LLM 함수를 사용할 수 있습니다.

다음 테이블에는 레거시 모델이 나열되어 있습니다. 이제 막 시작하는 경우 이전 테이블의 모델부터 시작하십시오.

비용 고려 사항¶

Snowflake Cortex LLM 함수는 처리된 토큰 수를 기준으로 컴퓨팅 비용이 발생합니다. 백만 토큰당 크레딧으로 표시되는 각 함수의 비용은 Snowflake 서비스 사용 테이블 을 참조하십시오.

토큰은 Snowflake Cortex LLM 함수가 처리하는 가장 작은 텍스트 단위로, 대략 4자에 해당합니다. 원시 입력 또는 출력 텍스트와 토큰의 동등성은 모델에 따라 다를 수 있습니다.

• 응답(COMPLETE, CLASSIFY_TEXT, SUMMARIZE, TRANSLATE)에서 새 텍스트를 생성하는 함수의 경우 입력 및 출력 토큰이 모두 계산됩니다.

• CORTEX GUARD의 경우 입력 토큰만 계산됩니다. 입력 토큰의 수는 COMPLETE 함수에 사용된 LLM 모델당 출력 토큰의 수를 기준으로 합니다.

• EMBED_TEXT_* 함수의 경우, 입력 토큰만 계산됩니다.

• 입력(EXTRACT_ANSWER 및 SENTIMENT)에서 정보만 추출하는 함수의 경우 입력 토큰만 계산됩니다.

• EXTRACT_ANSWER의 경우 청구 가능한 토큰 수는 from_text 및 question 필드에 있는 토큰 수의 합계입니다.

• SUMMARIZE, TRANSLATE, EXTRACT_ANSWER, CLASSIFY_TEXT 및 SENTIMENT는 응답을 생성하기 위해 입력 텍스트에 프롬프트를 추가합니다. 결과적으로 입력 토큰 수는 제공한 텍스트의 토큰 수보다 약간 많습니다.

• TRY_COMPLETE에서는 오류 처리를 위한 비용이 발생하지 않습니다. 즉, TRY_COMPLETE 함수가 NULL을 반환하면 비용이 발생하지 않습니다.

• COUNT_TOKENS에서는 함수를 실행하기 위한 컴퓨팅 비용만 발생합니다. 추가적인 토큰 기반 비용은 발생하지 않습니다.

웨어하우스가 더 크다고 해서 성능이 향상되는 것은 아니므로 Snowflake에서는 (MEDIUM 이하의) 작은 웨어하우스로 Snowflake Cortex LLM 함수 또는 Cortex PARSE_DOCUMENT 함수를 호출하는 쿼리를 실행할 것을 권장합니다. Snowflake Cortex LLM 함수를 호출하는 쿼리를 실행할 때 웨어하우스를 활성 상태로 유지하는 것과 관련된 비용이 계속 적용됩니다. 컴퓨팅 비용에 대한 일반적인 정보는 컴퓨팅 비용 이해하기 섹션을 참조하십시오.

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.METERING_DAILY_HISTORY
  WHERE SERVICE_TYPE='AI_SERVICES';

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_USAGE_HISTORY;

사용 할당량¶

모든 Snowflake 고객이 LLM 기능에 액세스할 수 있도록 하기 위해 사용량이 많은 기간에는 Snowflake Cortex LLM 함수에 대한 액세스가 제한될 수 있습니다. 사용 할당량은 계정 수준에는 적용되지 않습니다.

제한 요청은 오류 응답 을 받게 되며 나중에 다시 시도해야 합니다.

비용 관리 및 제한하기¶

Snowflake는 Snowflake Cortex LLM 함수를 호출하는 경우에는 MEDIUM을 초과하는 웨어하우스 크기를 사용하지 않는 것이 좋습니다. 필요한 것보다 더 큰 웨어하우스를 사용해도 성능은 향상되지 않지만 불필요한 비용이 발생하고 제한 위험이 더 높아질 수 있습니다. 이 권장 사항은 향후 제품 업데이트로 인해 향후에 적용되지 않을 수 있습니다.

모델 제한 사항¶

Snowflake Cortex에서 사용하는 모델에는 아래 테이블에 설명된 대로 크기 제한이 있습니다. 크기는 토큰 단위로 주어집니다. 토큰은 일반적으로 4자 정도의 텍스트를 나타내므로, 한계에 해당하는 단어의 개수는 토큰의 개수보다 적습니다. 제한을 초과하는 값을 입력하면 오류가 발생합니다.

모델 선택하기¶

Snowflake Cortex COMPLETE 함수는 다양한 기능, 대기 시간, 비용의 여러 모델을 지원합니다. 이러한 모델은 일반적인 고객 사용 사례에 맞게 신중하게 선택되었습니다. 최고의 크레딧당 성능 을 달성하려면 콘텐츠 크기와 작업의 복잡성에 잘 맞는 모델을 선택하십시오. 사용 가능한 모델에 대한 간략한 개요는 다음과 같습니다.

LLM 함수 개요¶

Cortex LLM 함수는 다음 카테고리로 그룹화할 수 있습니다.

• COMPLETE 함수: 측면 기반 감성 분류, 합성 데이터 생성, 사용자 지정 요약 등 다양한 사용자 지정 작업을 수행할 수 있는 범용 함수입니다. 미세 조정된 모델 에도 이 함수를 사용할 수 있습니다.

• 작업별 함수: 간단한 요약 및 빠른 번역과 같이 사용자 지정이 필요 없는 일상적인 작업을 자동화하는 특별히 구축된 관리형 함수입니다.

• 도우미 함수: 다른 LLM 함수를 실행할 때 실패 사례를 줄이기 위해 특별히 제작되고 관리되는 함수로, 예를 들어 입력 프롬프트에서 토큰 수를 가져와 호출이 모델 한도를 초과하지 않도록 하는 등의 역할을 합니다.

오류 조건¶

Snowflake Cortex LLM 함수는 다음과 같은 오류 메시지를 생성할 수 있습니다.

Python에서 Snowflake Cortex LLM 함수 사용하기¶

Snowflake Cortex LLM 함수는 Snowpark ML 버전1.1.2 이상에서 사용할 수 있습니다. Snowpark ML 설정에 대한 지침은 로컬에서 Snowflake ML 사용하기 섹션을 참조하십시오.

Snowflake 외부에서 Python 스크립트를 실행하는 경우 이러한 함수를 사용하려면 Snowpark 세션을 생성해야 합니다. 지침을 Snowflake에 연결하기 섹션을 참조하십시오.

다음 Python 예제에서는 단일 값에 대해 Snowflake Cortex LLM 함수를 호출하는 방법을 보여줍니다.

from snowflake.cortex import Complete, ExtractAnswer, Sentiment, Summarize, Translate, ClassifyText

text = """
    The Snowflake company was co-founded by Thierry Cruanes, Marcin Zukowski,
    and Benoit Dageville in 2012 and is headquartered in Bozeman, Montana.
"""

print(Complete("llama2-70b-chat", "how do snowflakes get their unique patterns?"))
print(ExtractAnswer(text, "When was snowflake founded?"))
print(Sentiment("I really enjoyed this restaurant. Fantastic service!"))
print(Summarize(text))
print(Translate(text, "en", "fr"))
print(ClassifyText("France", ["Europe", "Asia"]))

아래와 같이 테이블 열에서 LLM 함수를 호출할 수도 있습니다. 이 예에서는 세션 오브젝트(session 에 저장됨)와 텍스트 열 abstract_text 가 포함된 테이블 articles 가 필요하며 추상 요약이 포함된 새 열 abstract_summary 를 생성합니다.

from snowflake.cortex import Summarize
from snowflake.snowpark.functions import col

article_df = session.table("articles")
article_df = article_df.withColumn(
    "abstract_summary",
    Summarize(col("abstract_text"))
)
article_df.collect()

Snowflake Cortex LLM 함수를 Snowflake CLI 와 함께 사용하기¶

Snowflake Cortex LLM 함수는 Snowflake CLI 버전 2.4.0 이상에서 사용할 수 있습니다. Snowflake CLI 사용에 대한 자세한 내용은 Snowflake CLI 소개 섹션을 참조하십시오.

다음 예제에서는 단일 값에 대해 snow cortex 명령을 사용하는 방법을 설명합니다. -c 매개 변수는 사용할 연결을 지정합니다.

snow cortex complete "Is 5 more than 4? Please answer using one word without a period." -c "snowhouse"

snow cortex extract-answer "what is snowflake?" "snowflake is a company" -c "snowhouse"

snow cortex sentiment "Mary had a little Lamb" -c "snowhouse"

snow cortex summarize "John has a car. John's car is blue. John's car is old and John is thinking about buying a new car. There are a lot of cars to choose from and John cannot sleep because it's an important decision for John."

snow cortex translate herb --to pl

명령에 사용할 텍스트가 포함된 파일을 사용할 수도 있습니다. 이 예제에서는 about_cortex.txt 파일에 다음과 같은 내용이 포함되어 있다고 가정합니다.

Snowflake Cortex gives you instant access to industry-leading large language models (LLMs) trained by researchers at companies like Mistral, Reka, Meta, and Google, including Snowflake Arctic, an open enterprise-grade model developed by Snowflake.

Since these LLMs are fully hosted and managed by Snowflake, using them requires no setup. Your data stays within Snowflake, giving you the performance, scalability, and governance you expect.

Snowflake Cortex features are provided as SQL functions and are also available in Python. The available functions are summarized below.

COMPLETE: Given a prompt, returns a response that completes the prompt. This function accepts either a single prompt or a conversation with multiple prompts and responses.
EMBED_TEXT_768: Given a piece of text, returns a vector embedding that represents that text.
EXTRACT_ANSWER: Given a question and unstructured data, returns the answer to the question if it can be found in the data.
SENTIMENT: Returns a sentiment score, from -1 to 1, representing the detected positive or negative sentiment of the given text.
SUMMARIZE: Returns a summary of the given text.
TRANSLATE: Translates given text from any supported language to any other.

그런 다음과 같이 --file 매개 변수를 사용해 파일 이름을 전달하여 snow cortex summarize 명령을 실행할 수 있습니다.

snow cortex summarize --file about_cortex.txt

Snowflake Cortex offers instant access to industry-leading language models, including Snowflake Arctic, with SQL functions for completing prompts (COMPLETE), text embedding (EMBED\_TEXT\_768), extracting answers (EXTRACT\_ANSWER), sentiment analysis (SENTIMENT), summarizing text (SUMMARIZE), and translating text (TRANSLATE).

이러한 명령에 대한 자세한 내용은 snow cortex 명령 섹션을 참조하십시오.

법적 고지¶

입력 및 출력의 데이터 분류는 다음 테이블과 같습니다.

자세한 내용은 Snowflake AI 및 ML 섹션을 참조하십시오.