Cortex AISQL Images¶

입력 요구 사항¶

COMPLETE 멀티모달은 다음과 같은 특성을 가진 이미지를 처리할 수 있습니다.

이미지 처리를 위한 스테이지 만들기¶

처리할 이미지를 저장하기에 적합한 스테이지를 생성합니다. 스테이지에는 디렉터리 테이블과 서버 측 암호화가 있어야 합니다.

아래 SQL 에서 적절한 내부 스테이지를 생성합니다.

CREATE OR REPLACE STAGE input_stage
    DIRECTORY = ( ENABLE = true )
    ENCRYPTION = ( TYPE = 'SNOWFLAKE_SSE' );

다음 SQL 은 Amazon S3에 외부 스테이지를 생성합니다. Azure 및 GCP 외부 스테이지도 지원됩니다.

CREATE OR REPLACE STAGE input_stage
    URL='s3://<s3-path>/'
    DIRECTORY = ( ENABLE = true )
    CREDENTIALS = (AWS_KEY_ID = <aws_key_id>
    AWS_SECRET_KEY = <aws_secret_key>)
    ENCRYPTION = ( TYPE = 'AWS_SSE_S3' );

이미지 처리¶

COMPLETE 함수는 단일 이미지 또는 여러 이미지를 처리합니다(예: 여러 이미지에서 엔터티의 차이점을 추출하는 경우). 함수 호출은 다음을 지정합니다.

• 사용할 멀티모달 모델

• 프롬프트

• FILE 오브젝트를 통한 이미지 파일의 스테이지 경로입니다

단일 이미지 예시¶

다음 예는 Anthropic의 Claude Sonnet 3.5 모델을 사용하여 @myimages 스테이지에 저장된 파이 차트 science-employment-slide.jpeg 를 요약한 것입니다.

SELECT AI_COMPLETE('claude-3-5-sonnet',
    'Summarize the insights from this pie chart in 100 words',
    TO_FILE('@myimages', 'science-employment-slide.jpeg'));

Copy

응답:

This pie chart shows the distribution of occupations where mathematics is considered "extremely important" in 2023.
Data scientists dominate with nearly half (48.7%) of all such positions, followed by operations research analysts
at 29.6%. The remaining positions are distributed among statisticians (7.8%), actuaries (7.2%), physicists (5.1%),
mathematicians (0.6%), and other mathematical science occupations (1.1%). This distribution highlights the growing
importance of data science in mathematics-intensive careers, while traditional mathematics roles represent a smaller
share of the workforce.

다중 이미지 예시¶

참고

현재 Anthropic(claude) 및 Meta(llama) 모델만 단일 프롬프트에서 여러 이미지를 참조할 수 있습니다. 다른 모델에 대한 다중 이미지 지원은 향후 릴리스에서 가용성이 향상될 수 있습니다.

PROMPT 도우미 함수 를 사용하여 한 번의 COMPLETE 호출로 여러 이미지를 처리할 수 있습니다. 다음 예시에서는 Anthropic의 Claude Sonnet 3.5 모델을 사용하여 @myimages 스테이지의 서로 다른 두 광고 크리에이티브를 비교합니다.

SELECT AI_COMPLETE('claude-3-5-sonnet',
    PROMPT('Compare this image {0} to this image {1} and describe the ideal audience for each in two concise bullets no longer than 10 words',
    TO_FILE('@myimages', 'adcreative_1.png'),
    TO_FILE('@myimages', 'adcreative_2.png')
));

Copy

응답:

First image ("Discover a New Energy"):
• Conservative luxury SUV buyers seeking a subtle transition to electrification

Second image ("Electrify Your Drive"):
• Young, tech-savvy urbanites attracted to bold, progressive automotive design

모델 제한 사항¶

Snowflake Cortex에서 사용 가능한 모든 모델에는 모델의 컨텍스트 윈도우 로 알려진 총 입력 및 출력 토큰 수에 제한이 있습니다. 컨텍스트 윈도우 크기는 토큰 단위로 측정됩니다. 컨텍스트 윈도우 제한을 초과하는 입력은 오류가 발생합니다.

텍스트 모델의 경우 토큰은 일반적으로 약 4문자의 텍스트를 나타내므로 제한에 해당하는 단어 수는 토큰 수보다 적습니다.

이미지 모델의 경우 이미지당 토큰 수는 비전 모델의 아키텍처에 따라 달라집니다. 프롬프트 내의 토큰(예: “what animal is this?”)도 모델의 컨텍스트 윈도우에 기여합니다.

비용 고려 사항¶

청구는 처리된 토큰 수에 따라 조정됩니다. 이미지당 토큰 수는 비전 모델의 아키텍처에 따라 다릅니다.

• 인트로픽(claude) 모델의 공식은 대략 토큰 = (너비(픽셀) x 높이(픽셀)) / 750입니다.

• Mistral(pixtral) 모델은 각 이미지를 16x16픽셀 배치로 나누고 각 배치를 토큰으로 변환합니다. 토큰의 총 개수는 대략 (너비(픽셀)/16) * (높이(픽셀)/16)에 해당합니다.

• Meta (llama) 모델은 이미지를 정사각형 타일로 타일링하려고 합니다. 이미지의 가로 세로 비율과 크기에 따라 타일의 수는 최대 16개까지 가능하며, 각 타일은 약 153개의 토큰으로 표현됩니다.

비전 모델 선택하기¶

COMPLETE 함수는 다양한 함수, 지연 시간 및 비용의 여러 모델을 지원합니다. 크레딧당 성능을 최적화하려면 내용 크기와 작업 복잡도에 맞는 모델을 선택하십시오.

벤치마크는 다음과 같습니다.

• MMMU: 대학 수준의 추론이 필요한 다학제적 작업에 대한 멀티모달 모델을 평가합니다.

• Mathvista: 시각적 컨텍스트 내 수학적 추론 벤치마크.

• ChartQA: 차트에 대한 복잡한 추론 문제를 평가합니다.

• DocVQA 및 VQv2: 문서의 시각적 질문에 대한 답변 벤치마크.

리전 가용성¶

이 기능에 대한 지원은 다음 Snowflake 리전에 있는 계정에서 기본적으로 사용할 수 있습니다.

COMPLETE 멀티모달은 리전 간 추론 를 통해 다른 리전에서도 사용할 수 있습니다.

오류 조건¶

법적 고지 사항¶

입력 및 출력의 데이터 분류는 다음 테이블과 같습니다.

자세한 내용은 Snowflake AI 및 ML 섹션을 참조하십시오.