Snowflake Cortex AISQL (LLM 함수 포함)¶

AISQL 함수¶

이러한 작업별 함수는 사용자 지정이 필요 없는 간단한 요약 및 빠른 번역과 같은 일상적인 작업을 자동화하기 위해 특별히 구축된 관리형 함수입니다.

• AI_COMPLETE: 선택한 LLM 을 사용하여 지정된 텍스트 문자열 또는 이미지에 대한 완성을 생성합니다. 대부분의 생성형 AI 작업에 이 함수를 사용합니다.

  • AI_COMPLETE는 :doc:`/sql-reference/functions/complete-snowflake-cortex`의 업데이트된 버전입니다.

• AI_CLASSIFY: 텍스트 또는 이미지를 사용자 정의 카테고리로 분류합니다.

  • AI_CLASSIFY는 :doc:`/sql-reference/functions/classify_text-snowflake-cortex`의 업데이트된 버전으로, 다중 레이블 및 이미지 분류를 지원합니다.

• AI_FILTER: 주어진 텍스트 또는 이미지 입력에 대해 true 또는 false을 반환하여 SELECT, WHERE 또는 JOIN ... ON 절에서 결과를 필터링할 수 있습니다.

• AI_AGG: 텍스트 열을 집계하고 사용자 정의 프롬프트에 따라 여러 행에 걸쳐 인사이트를 반환합니다. 이 함수는 컨텍스트 윈도우 제한이 적용되지 않습니다.

• AI_EMBED: 텍스트 또는 이미지 입력에 대한 임베딩 벡터를 생성하며, 이는 유사성 검색, 클러스터링, 분류 작업에 활용될 수 있습니다.

  • AI_EMBED는 :doc:`/sql-reference/functions/embed_text_1024-snowflake-cortex`의 업데이트된 버전입니다.

• AI_EXTRACT: 입력 문자열 또는 파일(예: 텍스트, 이미지, 문서)에서 정보를 추출합니다. 여러 언어를 지원합니다.

  • AI_EXTRACT는 :doc:`/sql-reference/functions/extract_answer-snowflake-cortex`의 업데이트된 버전입니다.

• AI_SENTIMENT: 텍스트에서 감정 점수를 추출합니다.

  • AI_SENTIMENT는 :doc:`/sql-reference/functions/sentiment-snowflake-cortex`의 업데이트된 버전입니다.

• AI_SUMMARIZE_AGG: 텍스트 열을 집계하여 여러 행에 걸친 요약을 반환합니다. 이 함수는 컨텍스트 윈도우 제한이 적용되지 않습니다.

• AI_SIMILARITY: 두 입력 사이의 임베딩 유사도를 계산합니다.

• AI_TRANSCRIBE: 스테이지에 저장된 오디오 파일을 전사하여 텍스트, 타임스탬프, 화자 정보를 추출합니다.

• AI_PARSE_DOCUMENT: 내부 또는 외부 스테이지의 문서에서 텍스트(OCR 모드 사용) 또는 레이아웃 정보가 포함된 텍스트(LAYOUT 모드 사용)를 추출합니다.

  • AI_PARSE_DOCUMENT는 :doc:`/sql-reference/functions/parse_document-snowflake-cortex`의 업데이트된 버전입니다.

• TRANSLATE (SNOWFLAKE.CORTEX): 지원되는 언어 간에 텍스트를 번역합니다.

• SUMMARIZE (SNOWFLAKE.CORTEX): 지정한 텍스트의 요약을 반환합니다.

도우미 함수¶

헬퍼 함수는 다른 AISQL 함수를 실행할 때 실패 사례를 줄이기 위해 특별히 제작된 관리형 함수로, 예를 들어 입력 프롬프트에서 토큰 수를 가져와 호출이 모델 한도를 초과하지 않도록 하는 등의 역할을 합니다.

• TO_FILE: AI_COMPLETE 및 파일을 허용하는 기타 함수와 함께 사용할 내부 또는 외부 스테이지의 파일에 대한 참조를 생성합니다.

• COUNT_TOKENS(SNOWFLAKE.CORTEX): 입력 텍스트가 주어지면 지정된 모델 또는 Cortex 함수에 따라 토큰 수를 반환합니다.

• PROMPT: AI_COMPLETE 및 기타 함수와 함께 사용할 프롬프트 오브젝트를 생성하는 데 도움을 줍니다.

• TRY_COMPLETE(SNOWFLAKE.CORTEX): COMPLETE 함수와 비슷하게 동작하지만, 함수를 실행할 수 없는 경우 오류 코드 대신 NULL 을 반환합니다.

Cortex Guard¶

Cortex Guard는 언어 모델에서 발생할 수 있는 안전하지 않고 유해한 응답을 필터링하도록 설계된 AI_COMPLETE(또는 SNOWFLAKE.CORTEX.COMPLETE) 함수의 선택 사항입니다. Cortex Guard는 현재 Meta의 Llama Guard 3를 사용하여 빌드되었습니다. Cortex Guard는 언어 모델의 응답을 평가한 후 해당 출력을 애플리케이션으로 반환하여 작동합니다. Cortex Guard를 활성화하면 폭력 범죄, 증오, 성적 내용, 자해 등과 연관이 있는 언어 모델 응답이 자동으로 필터링됩니다. 구문과 예시는 :ref:`COMPLETE 인자<label-cortex_complete_arguments>`를 참조하세요.

계정 수준 허용 목록 매개 변수¶

CORTEX_MODELS_ALLOWLIST 매개 변수를 사용하여 전체 계정에서 모델 액세스를 제어할 수 있습니다. :ref:`지원되는 기능<label-cortex_llm_model_access_supported_features>`은 이 매개 변수의 값을 준수하며 허용 목록에 없는 모델의 사용을 방지합니다.

CORTEX_MODELS_ALLOWLIST 매개 변수는 'All', 'None' 또는 모델 이름의 쉼표로 구분된 목록으로 설정할 수 있습니다. 이 매개 변수는 계정 수준에서만 설정할 수 있으며, 사용자 또는 세션 수준에서는 설정할 수 없습니다. ACCOUNTADMIN 역할만 ALTER ACCOUNT 명령을 사용하여 매개 변수를 설정할 수 있습니다.

예:

• 모든 모델에 대한 접근을 허용하려면 다음을 수행하세요.

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'All';
  

  Copy

• mistral-large2 및 llama3.1-70b 모델에 대한 액세스를 허용하려면 다음을 수행하세요.

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'mistral-large2,llama3.1-70b';
  

  Copy

• 모든 모델에 대한 액세스를 차단하려면 다음을 수행하세요.

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'None';
  

  Copy

다음 섹션에 설명된 대로 RBAC를 사용하여 허용 목록에서 지정한 것 이상의 액세스 권한을 특정 역할에 부여하세요.

역할 기반 액세스 제어(RBAC)¶

Cortex 모델 자체는 Snowflake 오브젝트가 아니지만, Snowflake에서는 Cortex 모델을 *대표*하는 모델 오브젝트를 SNOWFLAKE.MODELS 스키마에 생성할 수 있습니다. 이러한 오브젝트에 RBAC를 적용함으로써, 다른 Snowflake 오브젝트와 동일한 방식으로 모델에 대한 액세스를 제어할 수 있습니다. :ref:`지원되는 기능<label-cortex_llm_model_access_supported_features>`은 SNOWFLAKE.MODELS 내 오브젝트의 식별자를 허용하며, 모델을 지정할 수 있는 모든 위치에서 사용 가능합니다.

CALL SNOWFLAKE.MODELS.CORTEX_BASE_MODELS_REFRESH();

SHOW MODELS IN SNOWFLAKE.MODELS;

SHOW APPLICATION ROLES IN APPLICATION SNOWFLAKE;

-- set up access
USE SECONDARY ROLES NONE;
USE ROLE ACCOUNTADMIN;
ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'MISTRAL-LARGE2';
CALL SNOWFLAKE.MODELS.CORTEX_BASE_MODELS_REFRESH();
GRANT APPLICATION ROLE SNOWFLAKE."CORTEX-MODEL-ROLE-LLAMA3.1-70B" TO ROLE PUBLIC;

-- test access
USE ROLE PUBLIC;

-- this succeeds because mistral-large2 is in the allowlist
SELECT AI_COMPLETE('MISTRAL-LARGE2', 'Hello');

-- this succeeds because the role has access to the model object
SELECT AI_COMPLETE('SNOWFLAKE.MODELS."LLAMA3.1-70B"', 'Hello');

-- this fails because the first argument is
-- neither an identifier for an accessible model object
-- nor is it a model name in the allowlist
SELECT AI_COMPLETE('SNOWFLAKE-ARCTIC', 'Hello');

흔히 빠지기 쉬운 함정¶

• 모델에 대한 액세스 권한(허용 목록 또는 RBAC를 통한)이 항상 모델을 사용할 수 있다는 것을 의미하지는 않습니다. 여전히 리전 간 이동, 사용 중단 또는 기타 가용성 제한 사항이 적용될 수 있습니다. 이러한 제한 사항으로 인해 모델 액세스 오류와 유사해 보이는 오류 메시지가 발생할 수 있습니다.

• 모델 액세스 제어는 모델의 사용만을 통제하며, 자체 액세스 제어를 가질 수 있는 기능 자체의 사용은 통제하지 않습니다. 예를 들어, AI_COMPLETE`에 대한 액세스는 :code:`CORTEX_USER 데이터베이스 역할에 의해 통제됩니다. 자세한 내용은 필수 권한 섹션을 참조하십시오.

• 모든 기능이 모델 액세스 제어를 지원하는 것은 아닙니다. 지원되는 기능 테이블을 참조하여 특정 기능이 어떤 액세스 제어 방법을 지원하는지 확인하세요.

• 보조 역할은 권한을 숨길 수 있습니다. 예를 들어, 사용자가 보조 역할로 ACCOUNTADMIN을 가진 경우, 모든 모델 오브젝트가 액세스 가능한 것으로 표시될 수 있습니다. 권한 확인 시 보조 역할을 일시적으로 비활성화하세요.

• 반드시 RBAC와 함께 모델 오브젝트 식별자를 사용해야 하며, 이러한 식별자는 따옴표로 묶인 식별자이므로 대소문자를 구분한다는 점을 명심하세요. 자세한 내용은 QUOTED_IDENTIFIERS_IGNORE_CASE 섹션을 참조하십시오.

지원되는 기능¶

모델 액세스 제어는 다음 기능들을 통해 지원됩니다.

AI 서비스 비용 추적¶

계정에서 LLM Functions를 포함한 AI 서비스에 사용된 크레딧을 추적하려면 METERING_HISTORY 뷰 를 사용합니다.

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.METERING_DAILY_HISTORY
  WHERE SERVICE_TYPE='AI_SERVICES';

AISQL 함수에 대한 크레딧 소비 추적¶

각 AISQL 함수 호출에 대한 크레딧과 토큰 소비를 뷰로 보려면 CORTEX_FUNCTIONS_USAGE_HISTORY 뷰 를 사용하십시오.

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_USAGE_HISTORY;

또한 Snowflake 계정 내에서 각 쿼리의 크레딧과 토큰 소비량을 볼 수 있습니다. 각 쿼리의 크레딧 및 토큰 소비량을 뷰로 확인하면 가장 많은 크레딧과 토큰을 소비하는 쿼리를 식별하는 데 도움이 됩니다.

다음 예제 쿼리는 CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY 뷰 를 사용하여 계정 내 모든 쿼리에 대한 크레딧과 토큰 소비량을 표시합니다.

SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY;

동일한 뷰를 사용하여 특정 쿼리에 대한 크레딧 및 토큰 소비량을 확인할 수도 있습니다.

SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY
WHERE query_id='<query-id>';

쿼리 사용 기록은 쿼리에 사용된 모델별로 그룹화됩니다. 예를 들어, 달리는 경우

SELECT AI_COMPLETE('mistral-7b', 'Is a hot dog a sandwich'), AI_COMPLETE('mistral-large', 'Is a hot dog a sandwich');

쿼리 사용 기록에는 mistral-7b 및 mistral-large 에 대한 두 행이 표시됩니다.

Large 모델¶

어디서부터 시작해야 할지 잘 모르겠다면 가장 성능이 뛰어난 모델을 먼저 사용해 다른 모델을 평가할 수 있는 기준을 설정하십시오. claude-3-7-sonnet, reka-core, mistral-large2 는 Snowflake Cortex에서 제공하는 가장 성능이 뛰어난 모델이며, 최신 모델이 어떤 기능을 제공하는지에 대한 좋은 ID어를 제공합니다.

• Claude 3-7 Sonnet 은 일반 추론 및 멀티모달 기능의 선두주자입니다. 다양한 영역과 양식에 걸쳐 추론이 필요한 작업에서 이전 버전보다 뛰어난 성능을 발휘합니다. 대용량의 출력 용량을 사용하여 정형 쿼리 또는 비정형 쿼리에서 더 많은 정보를 얻을 수 있습니다. 추론 기능과 큰 컨텍스트 윈도우를 갖추고 있어 에이전트 워크플로에 매우 적합합니다.

• deepseek-r1 은 감독된 미세 조정(SFT)없이 대규모 강화 학습(RL)을 사용하여 학습된 기초 모델입니다. 수학, 코드, 추론 작업 전반에서 높은 성능을 제공할 수 있습니다. 모델에 액세스하려면 리전 간 추론 매개 변수 를 AWS_US 로 설정합니다.

• mistral-large2 는 최상위 계층의 추론 기능을 갖춘 Mistral AI의 가장 진보된 대규모 언어 모델입니다. 이는 mistral-large 에 비해 코드 생성, 수학, 추론 능력이 훨씬 뛰어나며 다국어 지원도 훨씬 강력합니다. 합성 텍스트 생성, 코드 생성, 다국어 텍스트 분석과 같이 대규모 추론 기능이 필요하거나 고도로 전문화된 복잡한 작업에 이상적입니다.

• llama3.1-405b 는 128K의 대형 컨텍스트 윈도우가 있는 Meta의 llama3.1 모델 제품군의 오픈 소스 모델입니다. 긴 문서 처리, 다국어 지원, 합성 데이터 생성 및 모델 증류에 탁월합니다.

• ``snowflake-llama3.1-405b``는 오픈 소스 llama3.1 모델에서 파생된 모델입니다. 이는 Snowflake AI 연구팀이 개발한 `SwiftKV 최적화<https://www.snowflake.com/en/blog/up-to-75-lower-inference-cost-llama-meta-llm/>`_를 활용하여 최대 75%의 추론 비용 절감을 실현합니다. SwiftKV는 정확도 손실을 최소화하면서 더 높은 처리량 성능을 달성합니다.

Medium 모델¶

• llama3.1-70b 는 채팅 애플리케이션, 콘텐츠 제작, 엔터프라이즈 애플리케이션에 이상적인 최신 성능을 보여주는 오픈 소스 모델입니다. 이는 128K 컨텍스트 윈도우로 다양한 사용 사례를 지원하는 고성능, 비용 효율적인 모델입니다. llama3-70b 는 계속해서 지원되며 컨텍스트 창은 8K입니다.

• snowflake-llama3.3-70b 는 오픈 소스 llama3.3 모델에서 파생된 모델입니다. Snowflake AI 연구팀이 개발한 <SwiftKV optimizations https://www.snowflake.com/en/blog/up-to-75-lower-inference-cost-llama-meta-llm/> 을 사용하여 추론 비용을 최대 75%까지 절감할 수 있습니다. SwiftKV 는 정확도 손실을 최소화하면서 더 높은 처리량 성능을 달성합니다.

• snowflake-arctic 은 엔터프라이즈에 초점을 맞춘 Snowflake의 최고 수준의 LLM입니다. Arctic은 SQL 생성, 코딩, 벤치마크에 따른 지침과 같은 엔터프라이즈 작업에서 탁월한 성능을 발휘합니다.

• mixtral-8x7b 는 텍스트 생성, 분류, 질문 응답에 이상적입니다. Mistral 모델은 낮은 메모리 요구 사항과 낮은 지연 시간에 최적화되어 있어 엔터프라이즈 사용 사례에서 더 높은 처리량을 제공합니다.

• jamba-Instruct 모델은 기업의 요구 사항을 효율적으로 충족하기 위해 AI21 Labs에서 개발한 모델입니다. 이는 낮은 비용과 지연 시간으로 256,000개의 토큰 컨텍스트 윈도우를 제공하도록 최적화되어 있어 긴 문서와 광범위한 기술 자료에 대한 요약, Q&A, 엔터티 추출과 같은 작업에 이상적입니다.

• AI21 Jamba 1.5 모델 제품군은 파운데이션 모델에 이어 최신 하이브리드 SSM 변환기 지침을 따릅니다. 컨텍스트 길이가 256K인 jamba-1.5-mini 및 jamba-1.5-large 는 정형 출력(JSON) 및 그라운딩을 사용한 생성과 같은 사용 사례를 지원합니다.

Small 모델¶

• llama3.2-1b 및 llama3.2-3b 모델은 128K 토큰의 컨텍스트 길이를 지원하며 요약, 지침 따르기, 재작성 작업과 같은 사용 사례에 적합한 동급 최강의 최신 모델입니다. Llama 3.2 모델은 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어 및 태국어를 지원하는 다국어 기능을 제공합니다.

• llama3.1-8b 는 중간 정도의 추론이 필요한 작업에 이상적입니다. 이는 컨텍스트 윈도우가 128K인 초고속 경량 모델입니다. llama3-8b 및 llama2-70b-chat 은 계속해서 지원되는 모델이지만, 컨텍스트 윈도우가 더 작고 정확도가 상대적으로 낮습니다.

• mistral-7b 는 가장 간단한 요약, 정형화, 질문 답변 등 빠르게 처리해야 하는 작업에 이상적입니다. 32K 컨텍스트 윈도우를 통해 여러 페이지의 텍스트에 대해 낮은 지연 시간과 높은 처리량 처리를 제공합니다.

• gemma-7b 는 간단한 코드 및 텍스트 완성 작업에 적합합니다. 8,000개 토큰의 컨텍스트 윈도우가 있지만 그 한도 내에서 놀라울 정도로 성능이 뛰어나고 상당히 비용 효율적입니다.

다음 테이블에는 Snowflake Cortex AI_COMPLETE에서 제공하는 모델과 기타 인기 모델 등 다양한 벤치마크에서 인기 모델의 성능에 대한 정보를 제공합니다.

Snowpark Python에서 Cortex AISQL 함수 호출¶

Snowpark Python API에서 Snowflake Cortex AISQL 함수를 사용할 수 있습니다. 이러한 함수에는 다음이 포함됩니다. Snowpark Python의 함수 이름은 Python에서 사용하는 “snake_case” 형식을 따르며, 단어는 밑줄로 구분되고 모든 문자는 소문자로 표기됩니다.

• `ai_agg<https://docs.snowflake.com/en/developer-guide/snowpark/reference/python/latest/snowpark/api/snowflake.snowpark.functions.ai_agg>`_

• `ai_classify<https://docs.snowflake.com/en/developer-guide/snowpark/reference/python/latest/snowpark/api/snowflake.snowpark.functions.ai_classify>`_

• `ai_complet<https://docs.snowflake.com/en/developer-guide/snowpark/reference/python/latest/snowpark/api/snowflake.snowpark.functions.ai_complete>`_

• `ai_filter<https://docs.snowflake.com/en/developer-guide/snowpark/reference/python/latest/snowpark/api/snowflake.snowpark.functions.ai_filter>`_

• `ai_similarity<https://docs.snowflake.com/en/developer-guide/snowpark/reference/python/latest/snowpark/api/snowflake.snowpark.functions.ai_similarity>`_

• `ai_summarize_agg<https://docs.snowflake.com/en/developer-guide/snowpark/reference/python/latest/snowpark/api/snowflake.snowpark.functions.ai_summarize_agg>`_

from snowflake.snowpark.functions import ai_agg, col

df = session.create_dataframe([
    [1, "Excellent product!"],
    [1, "Great battery life."],
    [1, "A bit expensive but worth it."],
    [2, "Terrible customer service."],
    [2, "Won’t buy again."],
], schema=["product_id", "review"])

# Summarize reviews per product
summary_df = df.group_by("product_id").agg(
    ai_agg(col("review"), "Summarize the customer reviews in one sentence.")
)
summary_df.show()

from snowflake.snowpark.functions import ai_classify, col

df = session.create_dataframe([
    ["I dream of backpacking across South America."],
    ["I made the best pasta yesterday."],
], schema=["sentence"])

df = df.select(
    "sentence",
    ai_classify(col("sentence"), ["travel", "cooking"]).alias("classification")
)
df.show()

from snowflake.snowpark.functions import ai_filter, prompt, col

df = session.create_dataframe(["Canada", "Germany", "Japan"], schema=["country"])

filtered_df = df.select(
    "country",
    ai_filter(prompt("Is {0} in Asia?", col("country"))).alias("is_in_asia")
)
filtered_df.show()

Snowflake ML에서 Cortex AISQL 함수 호출¶

:doc:`Snowflake ML</developer-guide/snowflake-ml/overview>`에는 구형 AISQL 함수, 즉 이름이 “AI”로 시작하지 않는 함수들이 포함되어 있습니다. 이 함수들은 Snowflake ML 버전 1.1.2 이상에서 지원됩니다. 이름들은 Python에서 사용하는 “snake_case” 형식으로 표기되며, 단어는 밑줄로 구분되고 모든 문자는 소문자로 표기됩니다.

Snowflake 외부에서 Python 스크립트를 실행하는 경우 이러한 함수를 사용하려면 Snowpark 세션을 생성해야 합니다. 지침을 Snowflake에 연결하기 섹션을 참조하십시오.

from snowflake.cortex import complete, extract_answer, sentiment, summarize, translate

text = """
    The Snowflake company was co-founded by Thierry Cruanes, Marcin Zukowski,
    and Benoit Dageville in 2012 and is headquartered in Bozeman, Montana.
"""

print(complete("llama2-70b-chat", "how do snowflakes get their unique patterns?"))
print(extract_answer(text, "When was snowflake founded?"))
print(sentiment("I really enjoyed this restaurant. Fantastic service!"))
print(summarize(text))
print(translate(text, "en", "fr"))

from snowflake.cortex import complete, CompleteOptions

model_options1 = CompleteOptions(
    {'max_tokens':30}
)

print(complete("llama3.1-8b", "how do snowflakes get their unique patterns?", options=model_options1))

from snowflake.cortex import summarize
from snowflake.snowpark.functions import col

article_df = session.table("articles")
article_df = article_df.withColumn(
    "abstract_summary",
    summarize(col("abstract_text"))
)
article_df.collect()