대규모 언어 모델(LLM) 함수(Snowflake Cortex)¶

필수 권한¶

SNOWFLAKE 데이터베이스의 CORTEX_USER 데이터베이스 역할은 사용자가 Snowflake Cortex LLM 함수를 호출할 수 있는 권한을 포함합니다. 기본적으로 이 데이터베이스 역할은 ACCOUNTADMIN 역할에만 부여됩니다. 사용자가 Cortex LLM 함수에 액세스할 수 있도록 하기 위해 ACCOUNTADMIN은 이 역할을 사용자 역할에 전파해야 합니다.

SNOWFLAKE.CORTEX_USER 데이터베이스 역할을 사용자에게 직접 부여할 수는 없습니다. ACCOUNTADMIN 역할이 있는 사용자는 먼저 그 역할을 계정 역할에 부여한 다음 사용자에게 계정 역할을 부여해야 합니다. 자세한 내용은 SNOWFLAKE 데이터베이스 역할 사용하기 섹션을 참조하십시오.

다음 예에서는 ACCOUNTADMIN 역할을 맡아 해당 목적으로 생성한 계정 역할 cortex_user_role 을 통해 사용자 some_user 에게 CORTEX_USER 데이터베이스 역할을 부여합니다.

USE ROLE ACCOUNTADMIN;

CREATE ROLE cortex_user_role;
GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE cortex_user_role;

GRANT ROLE cortex_user_role TO USER some_user;

특정 사용자 그룹에서 일반적으로 사용하는 기존 역할을 통해 Snowflake Cortex LLM 함수에 대한 액세스 권한을 부여할 수도 있습니다. (사용자 역할 섹션을 참조하십시오.) 예를 들어 조직의 분석가가 기본 역할로 사용하는 analyst 역할을 만든 경우 단일 GRANT 문으로 이러한 사용자에게 Snowflake Cortex LLM 함수에 대한 액세스 권한을 쉽게 부여할 수 있습니다.

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE analyst;

PUBLIC 의사 역할은 모든 사용자와 역할에 자동으로 부여되므로 PUBLIC에 cortex_user_role 을 부여하면 계정의 모든 사용자가 Snowflake Cortex LLM 함수를 사용할 수 있습니다.

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE PUBLIC;

가용성¶

Snowflake Cortex LLM 함수는 현재 다음 리전에서 사용할 수 있습니다.

비용 고려 사항¶

Snowflake Cortex LLM 함수는 처리된 토큰 수를 기준으로 컴퓨팅 비용이 발생합니다. 아래 테이블은 각 함수에 대한 1백만 개 토큰당 크레딧 비용을 보여줍니다.

• 응답(COMPLETE, SUMMARIZE, TRANSLATE)에서 새 텍스트를 생성하는 함수의 경우 입력 및 출력 토큰이 모두 계산됩니다.

• 입력(EXTRACT_ANSWER 및 SENTIMENT)에서 정보만 추출하는 함수의 경우 입력 토큰만 계산됩니다.

• EXTRACT_ANSWER의 경우 청구 가능한 토큰 수는 from_text 및 question 필드에 있는 토큰 수의 합계입니다.

컴퓨팅 비용에 대한 일반적인 정보는 컴퓨팅 비용 이해하기 섹션을 참조하십시오.

Snowflake Cortex LLM 함수의 사용은 서비스 유형이 AI_SERVICES인 Snowflake Organization Usage의 METERING_DAILY_HISTORY 뷰에 나타납니다. 조직의 모든 계정에 대한 AI 서비스의 크레딧 소비를 확인하려면 다음 쿼리를 사용하십시오.

SELECT * FROM SNOWFLAKE.ORGANIZATION_USAGE.METERING_DAILY_HISTORY
    WHERE service_type ILIKE '%ai_services%';

사용 할당량¶

모든 Snowflake 고객에게 높은 수준의 성능을 보장하기 위해, Snowflake Cortex LLM 함수에는 그 이상 사용할 경우 요청이 제한될 수 있는 사용 할당량이 적용됩니다. Snowflake는 때때로 이러한 할당량을 조정할 수 있습니다. 아래 테이블의 할당량은 계정별로 적용됩니다.

비용 관리 및 제한하기¶

이 미리 보기 중에는 Snowflake Cortex LLM 함수를 호출할 때 MEDIUM보다 크지 않은 웨어하우스 크기를 사용하는 것이 좋습니다. 필요한 것보다 더 큰 웨어하우스를 사용해도 성능은 향상되지 않지만 불필요한 비용이 발생하고 제한 위험이 더 높아질 수 있습니다. 이 권장 사항은 향후 제품 업데이트로 인해 향후에 적용되지 않을 수 있습니다.

모델 제한 사항¶

Snowflake Cortex에서 사용하는 모델에는 아래 테이블에 설명된 대로 크기 제한이 있습니다. 크기는 토큰 단위로 주어집니다. 토큰은 일반적으로 단어에 대응되지만 모든 토큰이 단어인 것은 아니므로 한도에 대응하는 단어 수는 토큰 수보다 약간 더 적습니다. 제한을 초과하는 값을 입력하면 오류가 발생합니다.

모델 선택하기¶

Snowflake Cortex COMPLETE 함수는 다양한 기능, 대기 시간, 비용의 여러 모델을 지원합니다. 이러한 모델은 일반적인 고객 사용 사례에 맞게 신중하게 선택되었습니다. 최고의 크레딧당 성능 을 달성하려면 콘텐츠 크기와 작업의 복잡성에 잘 맞는 모델을 선택하십시오. 사용 가능한 모델에 대한 간략한 개요는 다음과 같습니다.

• mistral-large 는 다양한 메트릭에서 높은 점수를 받은 최상위 계층 모델입니다(아래 테이블 참조). 32,000개 토큰(약 24,000단어)의 컨텍스트 윈도우가 있으므로 확장된 대화 전반에 걸쳐 복잡한 추론에 참여할 수 있습니다. 또한 Snowflake Cortex에서 제공하는 모델 중 가장 컴퓨팅 집약적인 모델이므로 실행 비용도 가장 많이 듭니다.

• mixtral-8x7b 는 대기 시간이 짧고 고품질의 결과를 제공하는 동시에 32,000개 토큰의 컨텍스트 길이도 지원합니다. 많은 엔터프라이즈 프로덕션 사용 사례에 이상적입니다.

• llama2-70b-chat 은 데이터 추출, 직무 설명서 작성 지원 등 적당한 양의 추론이 필요한 복잡하고 큰 규모의 작업에 적합합니다.

• mistral-7b 및 gemma-7b 는 간단한 작업을 빠르고 더욱 비용 효율적으로 실행할 수 있습니다.

  • mistral-7b 는 더 작은 수준의 사용자 지정이 필요한 가장 간단한 요약 및 분류 작업에 이상적입니다. 32,000개 토큰 제한을 통해 여러 페이지의 텍스트를 처리할 수 있습니다.

  • gemma-7b 는 간단한 코드 및 텍스트 완성 작업에 적합합니다. 8,000개 토큰의 컨텍스트 윈도우가 있지만 그 한도 내에서 놀라울 정도로 성능이 뛰어나고 상당히 비용 효율적입니다.

어디서부터 시작해야 할지 잘 모르겠다면 이미 다른 최상위 계층 모델을 사용 중이든 LLM을 처음 사용하든 관계없이, mistral-large 를 먼저 사용해 보십시오. 이는 Snowflake Cortex가 제공하는 가장 광범위한 기능을 갖춘 모델이며, 이 모델을 통해 최첨단 모델의 능력을 잘 알 수 있을 것입니다. 다른 모델을 평가할 때 그 결과를 기준선으로 삼을 수 있습니다.

결정에 도움이 되도록, 다음 테이블에는 Snowflake Cortex COMPLETE가 제공하는 모델뿐 아니라 다른 몇 가지 인기 모델을 포함하여 다양한 벤치마크에서 인기 모델이 보이는 성능에 대한 정보가 나와 있습니다.

^*비교를 위해 제공되지만 Snowflake Cortex COMPLETE에서는 사용할 수 없습니다.

LLM 함수 개요¶

오류 조건¶

Snowflake Cortex LLM 함수는 다음과 같은 오류 메시지를 생성할 수 있습니다.

Python에서 Snowflake Cortex LLM 함수 사용하기¶

Snowflake Cortex LLM 함수는 Snowpark ML 버전1.1.2 이상에서 사용할 수 있습니다. Snowpark ML 설정에 대한 지침은 Snowpark ML 설치하기 섹션을 참조하십시오.

Snowflake 외부에서 Python 스크립트를 실행하는 경우 이러한 함수를 사용하려면 Snowpark 세션을 생성해야 합니다. 지침을 Snowflake에 연결하기 섹션을 참조하십시오.

다음 Python 예제에서는 단일 값에 대해 Snowflake Cortex LLM 함수를 호출하는 방법을 보여줍니다.

from snowflake.cortex import Complete, ExtractAnswer, Sentiment, Summarize, Translate

text = """
    The Snowflake company was co-founded by Thierry Cruanes, Marcin Zukowski,
    and Benoit Dageville in 2012 and is headquartered in Bozeman, Montana.
"""

print(Complete("llama2-70b-chat", "how do snowflakes get their unique patterns?"))
print(ExtractAnswer(text, "When was snowflake founded?"))
print(Sentiment("I really enjoyed this restaurant. Fantastic service!"))
print(Summarize(text))
print(Translate(text, "en", "fr"))

아래와 같이 테이블 열에서 LLM 함수를 호출할 수도 있습니다. 이 예에서는 세션 오브젝트(session 에 저장됨)와 텍스트 열 abstract_text 가 포함된 테이블 articles 가 필요하며 추상 요약이 포함된 새 열 abstract_summary 를 생성합니다.

from snowflake.cortex import Summarize
from snowflake.snowpark.functions import col

article_df = session.table("articles")
article_df = article_df.withColumn(
    "abstract_summary",
    Summarize(col("abstract_text"))
)
article_df.collect()

법적 고지¶

Snowflake Cortex LLM 함수는 Meta의 LLaMA 2를 포함한 머신 러닝 기술로 구동됩니다. 기초 LLaMA 2 모델은 LLaMA 2 커뮤니티 라이선스 와 Copyright (c) Meta Platforms, Inc.에 따라 라이선스가 부여됩니다. All Rights Reserved. LLama 2 모델을 기반으로 하는 모든 LLM 함수 사용에는 Meta의 사용 제한 정책 이 적용됩니다.

제공된 머신 러닝 기술 및 결과는 부정확하거나 부적절하거나 편향될 수 있습니다. 자동 파이프라인에 내장된 결과를 포함하여 머신 러닝 출력을 기반으로 한 의사 결정에는 모델 생성 콘텐츠가 정확하도록 보장하기 위해 사람의 감독 및 검토 프로세스가 있어야 합니다.

LLM 함수 쿼리는 다른 SQL 쿼리로 처리되며 메타데이터 로 간주될 수 있습니다.

자세한 내용은 Snowflake AI 신뢰 및 안전 FAQ 를 참조하십시오.