Snowflake Cortex AISQL (LLM 함수 포함)¶

사용 가능한 함수¶

Snowflake Cortex 기능은 SQL 함수로 제공되며 Python 에서도 사용할 수 있습니다. Cortex AISQL 함수는 다음 카테고리로 그룹화할 수 있습니다.

• AISQL 함수

• 도우미 함수

성능 고려 사항¶

Cortex AISQL 함수는 처리량에 최적화되어 있습니다. 이러한 함수를 사용하여 대규모 SQL 테이블의 텍스트와 같은 수많은 입력을 처리하는 것이 좋습니다. 배치 처리는 일반적으로 AISQL 함수에 더 적합합니다. 지연 시간이 중요한 대화형 사용 사례의 경우 REST API 를 사용하십시오. 단순 추론(Complete API), 임베딩(Embed API) 및 Agent 애플리케이션(Agents API)에 사용할 수 있습니다.

필수 권한¶

SNOWFLAKE 데이터베이스의 CORTEX_USER 데이터베이스 역할은 사용자가 Snowflake Cortex AI 함수를 호출할 수 있는 권한을 포함합니다. 기본적으로 CORTEX_USER 역할은 PUBLIC 역할에 부여됩니다. PUBLIC 역할은 모든 사용자 및 역할에 자동으로 부여되므로 계정의 모든 사용자가 Snowflake Cortex AI 함수를 사용할 수 있습니다.

모든 사용자에게 이 권한을 부여하지 않으려면 PUBLIC 역할에 대한 액세스를 취소하고 특정 역할에 대한 액세스 권한을 부여하면 됩니다.

PUBLIC 역할에서 CORTEX_USER 데이터베이스 역할을 취소하려면 ACCOUNTADMIN 역할을 사용하여 다음 명령을 실행합니다.

REVOKE DATABASE ROLE SNOWFLAKE.CORTEX_USER
  FROM ROLE PUBLIC;

REVOKE IMPORTED PRIVILEGES ON DATABASE SNOWFLAKE
  FROM ROLE PUBLIC;

그런 다음 특정 역할에 대한 액세스 권한을 선택적으로 제공할 수 있습니다. SNOWFLAKE.CORTEX_USER 데이터베이스 역할을 사용자에게 직접 부여할 수는 없습니다. 자세한 내용은 SNOWFLAKE 데이터베이스 역할 사용하기 섹션을 참조하십시오. ACCOUNTADMIN 역할이 있는 사용자는 사용자 지정 역할에 이 역할을 부여하여 사용자가 Cortex AI 함수에 액세스하도록 허용할 수 있습니다. 다음 예제에서는 ACCOUNTADMIN 역할을 사용하고 이를 위해 생성한 계정 역할 cortex_user_role 을 통해 사용자 CORTEX_USER에 some_user 데이터베이스 역할을 부여합니다.

USE ROLE ACCOUNTADMIN;

CREATE ROLE cortex_user_role;
GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE cortex_user_role;

GRANT ROLE cortex_user_role TO USER some_user;

특정 사용자 그룹에서 일반적으로 사용하는 기존 역할을 통해 Snowflake Cortex AI 함수에 대한 액세스 권한을 부여할 수도 있습니다. (사용자 역할 섹션을 참조하십시오.) 예를 들어 조직의 분석가가 기본 역할로 사용하는 analyst 역할을 만든 경우 단일 GRANT 문으로 이러한 사용자에게 Snowflake Cortex AISQL 함수에 대한 액세스 권한을 쉽게 부여할 수 있습니다.

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE analyst;

모델 액세스 제어¶

Snowflake Cortex에서 모델에 대한 액세스를 제어하는 방법에는 두 가지가 있습니다. 광범위한 액세스 제어와 세분화된 액세스 제어를 혼합하여 한 가지 또는 두 가지 방법을 함께 사용할 수 있습니다.

• 모델 허용 목록

• 역할 기반 액세스 제어

모델 허용 목록은 계정의 모든 사용자에게 모델에 대한 기본 액세스 수준을 제공하며 CORTEX_MODELS_ALLOWLIST 매개 변수를 사용하여 사용자 지정할 수 있습니다. 역할 기반 액세스 제어는 애플리케이션 역할을 통해 특정 모델 오브젝트에 권한을 부여 또는 취소하여 세분화된 액세스 관리를 가능하게 합니다.

모델 액세스 제어는 다음 서비스에 사용할 수 있습니다.

• AISQL 함수

• Cortex REST API

• TRY_COMPLETE(SNOWFLAKE.CORTEX)

• Cortex Playground

다음 서비스에는 세분화된 액세스 제어 방법을 사용할 수 없습니다.

• Cortex Search

• Cortex Analyst

• Cortex Copilot

• Cortex Agents

• 문서 AI

CALL SNOWFLAKE.MODELS.CORTEX_BASE_MODELS_REFRESH();

SHOW MODELS IN SNOWFLAKE.MODELS;

SHOW APPLICATION ROLES IN APPLICATION SNOWFLAKE;

GRANT APPLICATION ROLE SNOWFLAKE."CORTEX-MODEL-ROLE-LLAMA3.1-70B" TO ROLE MY_ROLE;

SELECT AI_COMPLETE('SNOWFLAKE.MODELS."LLAMA3.1-70B"', 'Hello');

가용성¶

Snowflake Cortex AI 함수는 현재 다음 리전에서 사용할 수 있습니다. 목록에 없는 리전에서 LLMs 에 액세스하려면 리전 간 추론 매개 변수 를 사용합니다.

현재 다음 확장 리전에서는 다음과 같은 Snowflake Cortex AI 함수를 사용할 수 있습니다.

다음 테이블에는 레거시 모델이 나열되어 있습니다. 이제 막 시작하는 경우 이전 테이블의 모델부터 시작하십시오.

비용 고려 사항¶

Snowflake Cortex AI 함수는 처리된 토큰 수를 기준으로 컴퓨팅 비용이 발생합니다. 백만 토큰당 크레딧으로 표시되는 각 함수의 비용은 Snowflake 서비스 사용 테이블 을 참조하십시오.

토큰은 Snowflake Cortex AI 함수가 처리하는 가장 작은 텍스트 단위로, 대략 4자에 해당합니다. 원시 입력 또는 출력 텍스트와 토큰의 동등성은 모델에 따라 다를 수 있습니다.

• 응답(AI_COMPLETE, AI_CLASSIFY, AI_FILTER, AI_AGG, AI_SUMMARIZE 및 TRANSLATE)에서 새 텍스트를 생성하는 함수의 경우 입력 및 출력 토큰이 모두 계산됩니다.

• CORTEX GUARD의 경우 입력 토큰만 계산됩니다. 입력 토큰의 수는 COMPLETE 함수에 사용된 LLM 모델당 출력 토큰의 수를 기준으로 합니다.

• AI_SIMILARITY 의 경우 EMBED_* 함수, 입력 토큰만 계산됩니다.

• EXTRACT_ANSWER의 경우 청구 가능한 토큰 수는 from_text 및 question 필드에 있는 토큰 수의 합계입니다.

• AI_CLASSIFY, AI_FILTER, AI_AGG, AI_SUMMARIZE_AGG, SUMMARIZE, TRANSLATE, EXTRACT_ANSWER, ENTITY_SENTIMENT, SENTIMENT 는 응답을 생성하기 위해 입력 텍스트에 프롬프트를 추가합니다. 결과적으로 입력한 토큰 수가 공급자가 제공한 텍스트의 토큰 수보다 많습니다.

• AI_CLASSIFY 레이블, 설명 및 예제는 AI_CLASSIFY 호출마다 한 번씩이 아니라 처리된 각 레코드에 대한 입력 토큰으로 계산됩니다.

• PARSE_DOCUMENT(SNOWFLAKE.CORTEX)의 경우 청구는 처리된 문서 페이지 수를 기준으로 합니다.

• TRY_COMPLETE(SNOWFLAKE.CORTEX)에서는 오류 처리를 위한 비용이 발생하지 않습니다. 즉, TRY_COMPLETE(SNOWFLAKE.CORTEX) 함수가 NULL 을 반환하면 비용이 발생하지 않습니다.

• COUNT_TOKENS(SNOWFLAKE.CORTEX)에서는 함수를 실행하기 위한 컴퓨팅 비용만 발생합니다. 추가적인 토큰 기반 비용은 발생하지 않습니다.

더 큰 웨어하우스는 성능을 향상시키지 못하므로 Snowflake Cortex AISQL 함수 또는 더 작은(MEDIUM 보다 크지 않은) Cortex PARSE_DOCUMENT 함수를 호출하는 쿼리를 실행할 것을 권장합니다. Snowflake Cortex LLM 함수를 호출하는 쿼리를 실행할 때 웨어하우스를 활성 상태로 유지하는 것과 관련된 비용이 계속 적용됩니다. 컴퓨팅 비용에 대한 일반적인 정보는 컴퓨팅 비용 이해하기 섹션을 참조하십시오.

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.METERING_DAILY_HISTORY
  WHERE SERVICE_TYPE='AI_SERVICES';

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_USAGE_HISTORY;

SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY;

SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY
WHERE query_id='<query-id>';

SELECT AI_COMPLETE('mistral-7b', 'Is a hot dog a sandwich'), AI_COMPLETE('mistral-large', 'Is a hot dog a sandwich');

사용 할당량¶

모든 Snowflake 고객이 LLM 기능에 액세스할 수 있도록 하기 위해 사용량이 많은 기간에는 Snowflake Cortex AI 함수에 대한 액세스가 제한될 수 있습니다. 사용 할당량은 계정 수준에는 적용되지 않습니다.

제한 요청은 오류 응답 을 받게 되며 나중에 다시 시도해야 합니다.

비용 관리 및 제한하기¶

Snowflake는 Snowflake Cortex AISQL 함수를 호출하는 경우에는 MEDIUM을 초과하는 웨어하우스 크기를 사용하지 않는 것이 좋습니다. 필요한 것보다 더 큰 웨어하우스를 사용해도 성능은 향상되지 않지만 불필요한 비용이 발생하고 제한 위험이 더 높아질 수 있습니다. 이 권장 사항은 향후 제품 업데이트로 인해 향후에 적용되지 않을 수 있습니다.

모델 제한 사항¶

Snowflake Cortex에서 사용하는 모델에는 아래 테이블에 설명된 대로 크기 제한이 있습니다. 크기는 토큰 단위로 주어집니다. 토큰은 일반적으로 4자 정도의 텍스트를 나타내므로, 한계에 해당하는 단어의 개수는 토큰의 개수보다 적습니다. 제한을 초과하는 값을 입력하면 오류가 발생합니다.

모델이 생성할 수 있는 출력의 최대 크기는 다음에 의해 제한됩니다.

• 모델의 출력 토큰 제한입니다.

• 모델이 입력 토큰을 소비한 후 컨텍스트 윈도우에서 사용 가능한 공간입니다.

예를 들어, claude-3-5-sonnet 에는 200,000 토큰의 컨텍스트 윈도우를 있습니다. 입력에 100,000개의 토큰을 사용하는 경우 모델은 최대 8,192개의 토큰을 생성할 수 있습니다. 그러나 195,000개의 토큰을 입력으로 사용하는 경우 모델은 총 200,000개의 토큰에 대해 최대 5,000개까지만 토큰을 생성할 수 있습니다.

모델 선택하기¶

Snowflake Cortex COMPLETE 함수는 다양한 기능, 대기 시간, 비용의 여러 모델을 지원합니다. 이러한 모델은 일반적인 고객 사용 사례에 맞게 신중하게 선택되었습니다. 최고의 크레딧당 성능 을 달성하려면 콘텐츠 크기와 작업의 복잡성에 잘 맞는 모델을 선택하십시오. 사용 가능한 모델에 대한 간략한 개요는 다음과 같습니다.

이전 모델 버전¶

Snowflake Cortex COMPLETE 함수는 다음과 같은 이전 모델 버전도 지원합니다. 이 테이블에 나열된 버전 대신 최신 모델 버전을 사용하는 것이 좋습니다.

오류 조건¶

Snowflake Cortex AI 함수는 다음과 같은 오류 메시지를 생성할 수 있습니다.

Python으로 Snowflake Cortex AISQL 사용하기¶

Snowpark Python API 의 Snowflake Cortex AISQL 함수를 사용할 수 있습니다. API 에서 함수를 사용하여 텍스트와 이미지 데이터를 분류, 요약, 필터링할 수 있습니다.

이러한 함수에는 다음이 포함됩니다.

• ai_agg() - 자연어 지침을 사용하여 텍스트 열을 집계합니다. 자세한 내용은 AI_AGG 섹션을 참조하십시오.

• ai_classify() - 텍스트 또는 이미지를 사용자 지정 카테고리로 분류합니다. 자세한 내용은 AI_CLASSIFY 섹션을 참조하십시오.

• ai_filter() - 자연어를 사용하여 데이터를 필터링합니다. 자세한 내용은 AI_FILTER 섹션을 참조하십시오.

ai_agg() 함수는 분석가에게 그룹화되거나 그룹화되지 않은 데이터에서 결과를 요약하거나 추출하도록 요청하는 것과 유사한 방식으로 자연어 지침을 사용하여 텍스트 열을 집계합니다.

다음 예는 ai_agg() 함수를 사용하여 각 제품에 대한 고객 리뷰를 요약한 것입니다. 이 함수는 텍스트 열과 자연어 지침을 사용하여 리뷰를 요약합니다.

from snowflake.snowpark.functions import ai_agg, col

df = session.create_dataframe([
    [1, "Excellent product!"],
    [1, "Great battery life."],
    [1, "A bit expensive but worth it."],
    [2, "Terrible customer service."],
    [2, "Won’t buy again."],
], schema=["product_id", "review"])

# Summarize reviews per product
summary_df = df.group_by("product_id").agg(
    ai_agg(col("review"), "Summarize the customer reviews in one sentence.")
)
summary_df.show()

ai_classify() 함수는 텍스트 또는 이미지를 가져와서 정의한 카테고리로 분류합니다.

다음 예제에서는 여행 후기를 “travel” 및 “cooking” 등의 카테고리로 분류합니다. 이 함수는 텍스트 열과 텍스트를 분류할 카테고리 목록을 받습니다.

from snowflake.snowpark.functions import ai_classify

df = session.create_dataframe([
    ["I dream of backpacking across South America."],
    ["I made the best pasta yesterday."],
], schema=["sentence"])

df = df.select(
    "sentence",
    ai_classify("sentence", ["travel", "cooking"]).alias("classification")
)
df.show()

ai_filter() 함수는 자연어 조건을 평가하여 TRUE 또는 FALSE 를 반환합니다. 행을 필터링하거나 태그하는 데 사용할 수 있습니다.

from snowflake.snowpark.functions import ai_filter, prompt, col

df = session.create_dataframe(["Canada", "Germany", "Japan"], schema=["country"])

filtered_df = df.select(
    "country",
    ai_filter(prompt("Is {0} in Asia?", col("country"))).alias("is_in_asia")
)
filtered_df.show()

기존 Snowpark ML 함수는 Snowpark ML 버전 1.1.2 이상에서 계속 지원됩니다. Snowpark ML 설정에 대한 지침은 로컬에서 Snowflake ML 사용하기 섹션을 참조하십시오.

Snowflake 외부에서 Python 스크립트를 실행하는 경우 이러한 함수를 사용하려면 Snowpark 세션을 생성해야 합니다. 지침을 Snowflake에 연결하기 섹션을 참조하십시오.

다음 Python 예제에서는 단일 값에 대해 Snowflake Cortex AI 함수를 호출하는 방법을 보여줍니다.

from snowflake.cortex import Complete, ExtractAnswer, Sentiment, Summarize, Translate

text = """
    The Snowflake company was co-founded by Thierry Cruanes, Marcin Zukowski,
    and Benoit Dageville in 2012 and is headquartered in Bozeman, Montana.
"""

print(Complete("llama2-70b-chat", "how do snowflakes get their unique patterns?"))
print(ExtractAnswer(text, "When was snowflake founded?"))
print(Sentiment("I really enjoyed this restaurant. Fantastic service!"))
print(Summarize(text))
print(Translate(text, "en", "fr"))

COMPLETE 함수를 사용할 때 모델의 하이퍼파라미터에 영향을 주는 옵션을 전달할 수 있습니다. 다음 Python 예제는 모델이 생성할 수 있는 최대 출력 토큰 수를 수정하여 COMPLETE 함수를 호출하는 것을 보여줍니다.

from snowflake.cortex import Complete,CompleteOptions

model_options1 = CompleteOptions(
    {'max_tokens':30}
)

print(Complete("llama3.1-8b", "how do snowflakes get their unique patterns?", options=model_options1))

아래와 같이 테이블 열에서 AI 함수를 호출할 수도 있습니다. 이 예에서는 세션 오브젝트(session 에 저장됨)와 텍스트 열 abstract_text 가 포함된 테이블 articles 가 필요하며 추상 요약이 포함된 새 열 abstract_summary 를 생성합니다.

from snowflake.cortex import Summarize
from snowflake.snowpark.functions import col

article_df = session.table("articles")
article_df = article_df.withColumn(
    "abstract_summary",
    Summarize(col("abstract_text"))
)
article_df.collect()

Snowflake Cortex AI 함수를 Snowflake CLI 와 함께 사용하기¶

Snowflake Cortex AISQL 은 Snowflake CLI 버전 2.4.0 이상에서 사용 가능합니다. Snowflake CLI 사용에 대한 자세한 내용은 Snowflake CLI 소개 섹션을 참조하십시오.

다음 예제에서는 단일 값에 대해 snow cortex 명령을 사용하는 방법을 설명합니다. -c 매개 변수는 사용할 연결을 지정합니다.

snow cortex complete "Is 5 more than 4? Please answer using one word without a period." -c "snowhouse"

snow cortex extract-answer "what is snowflake?" "snowflake is a company" -c "snowhouse"

snow cortex sentiment "Mary had a little Lamb" -c "snowhouse"

snow cortex summarize "John has a car. John's car is blue. John's car is old and John is thinking about buying a new car. There are a lot of cars to choose from and John cannot sleep because it's an important decision for John."

snow cortex translate herb --to pl

명령에 사용할 텍스트가 포함된 파일을 사용할 수도 있습니다. 이 예제에서는 about_cortex.txt 파일에 다음과 같은 내용이 포함되어 있다고 가정합니다.

Snowflake Cortex gives you instant access to industry-leading large language models (LLMs) trained by researchers at companies like Anthropic, Mistral, Reka, Meta, and Google, including Snowflake Arctic, an open enterprise-grade model developed by Snowflake.

Since these LLMs are fully hosted and managed by Snowflake, using them requires no setup. Your data stays within Snowflake, giving you the performance, scalability, and governance you expect.

Snowflake Cortex features are provided as SQL functions and are also available in Python. The available functions are summarized below.

COMPLETE: Given a prompt, returns a response that completes the prompt. This function accepts either a single prompt or a conversation with multiple prompts and responses.
EMBED_TEXT_768: Given a piece of text, returns a vector embedding that represents that text.
EXTRACT_ANSWER: Given a question and unstructured data, returns the answer to the question if it can be found in the data.
SENTIMENT: Returns a sentiment score, from -1 to 1, representing the detected positive or negative sentiment of the given text.
SUMMARIZE: Returns a summary of the given text.
TRANSLATE: Translates given text from any supported language to any other.

그런 다음과 같이 --file 매개 변수를 사용해 파일 이름을 전달하여 snow cortex summarize 명령을 실행할 수 있습니다.

snow cortex summarize --file about_cortex.txt

Snowflake Cortex offers instant access to industry-leading language models, including Snowflake Arctic, with SQL functions for completing prompts (COMPLETE), text embedding (EMBED\_TEXT\_768), extracting answers (EXTRACT\_ANSWER), sentiment analysis (SENTIMENT), summarizing text (SUMMARIZE), and translating text (TRANSLATE).

이러한 명령에 대한 자세한 내용은 snow cortex 명령 섹션을 참조하십시오.

법적 고지¶

입력 및 출력의 데이터 분류는 다음 테이블과 같습니다.

자세한 내용은 Snowflake AI 및 ML 섹션을 참조하십시오.