Cortex Search Service 비용 이해하기¶

비용 범주¶

Cortex Search Service에는 다음과 같은 유형의 비용이 발생합니다.

카테고리	설명
가상 웨어하우스 컴퓨팅	텍스트 임베딩 작업 오케스트레이션 및 검색 인덱스 구축 등 서비스를 초기화 및 새로 고칠 때 기본 오브젝트에 대한 쿼리를 실행하기 위해 Cortex Search Service에는 가상 웨어하우스 가 필요합니다. 이러한 작업은 크레딧 을 소비하는 컴퓨팅 리소스를 사용합니다. 새로 고침 중에 변경 사항이 식별되지 않으면 새로 고칠 새로운 데이터가 없으므로 가상 웨어하우스 크레딧이 소비되지 않습니다.
EMBED_TEXT 토큰 계산	Cortex Search Service는 `ON` 매개 변수에 지정된 검색 열의 각 텍스트 행을 벡터 공간에 자동으로 임베드하여 의미 체계 검색을 가능하게 하며, 임베드된 토큰당 크레딧 비용이 발생합니다. EMBED_TEXT_768 또는 EMBED_TEXT_1024 를 호출하여 각 문서를 의미를 인코딩하는 일련의 숫자로 변환합니다. 임베딩은 행이 삽입되거나 업데이트될 때마다 계산됩니다. 임베딩은 소스 쿼리 평가에서 점진적으로 처리되므로 임베딩 비용은 추가되거나 변경된 문서에 대해서만 발생합니다. 벡터 임베딩 비용에 대한 자세한 내용은 벡터 임베딩 섹션을 참조하십시오.
컴퓨팅 제공	Cortex Search Service는 사용자가 제공하는 가상 웨어하우스와는 별도로 멀티테넌트 서비스 컴퓨팅을 사용하여 지연 시간이 짧고 처리량이 높은 서비스를 구축합니다. 이 구성 요소의 컴퓨팅 비용은 압축되지 않은 인덱스 데이터의 월당 GB(GB/월) 발생하며, 여기서 인덱스 데이터는 Cortex Search 소스 쿼리에서 사용자가 제공한 데이터와 사용자를 대신하여 계산된 벡터 임베딩을 말합니다. 특정 기간 동안 쿼리가 처리되지 않더라도 서비스가 쿼리에 응답할 수 있는 동안에는 이러한 비용이 발생합니다. 인덱스 데이터의 GB/월당 Cortex Search Serving 크레딧 요율은 Snowflake Service Consumption Table 을 참조하십시오.
저장	Cortex Search Service는 소스 쿼리를 사용자의 계정에 저장된 테이블로 구체화합니다. 이 테이블은 지연 시간이 짧은 서비스 제공을 위해 최적화된 데이터 구조로 변환되어 사용자 계정에 저장됩니다. 테이블 및 중간 데이터 구조의 저장소는 테라바이트(TB)당 정액제를 기반으로 합니다.
클라우드 서비스 컴퓨팅	Cortex Search Service는 클라우드 서비스 컴퓨팅 을 사용하여 기본 기본 오브젝트의 변경 사항과 가상 웨어하우스를 호출해야 하는지 여부를 식별합니다. 클라우드 서비스 컴퓨팅 비용은 일일 클라우드 서비스 비용이 계정의 일일 웨어하우스 비용의 10%보다 큰 경우에만 Snowflake가 요금을 청구하는 제약 조건을 따릅니다.

이 항목에서는 이러한 비용에 대한 정보와 함께 이러한 비용을 효과적으로 관리하기 위한 권장 사항을 제공합니다.

인덱싱 비용 관리하기¶

다음 팁은 Cortex Search Service의 인덱스 비용을 관리하는 데 유용할 수 있습니다.

웨어하우스 크기 최소화: 대부분의 서비스는 LARGE 웨어하우스 이상으로 인덱싱 성능이 향상되지 않으며, 대부분의 경우 MEDIUM 만 필요합니다. 인덱스 구축에 사용되는 대부분의 컴퓨팅 시간은 텍스트 임베딩 함수에 의해 소비되며, 이미 충분한 리소스가 있는 경우 더 많은 코어나 추가 메모리의 이점을 누리지 못합니다.
최신성이 중요하지 않은 경우 인덱싱 일시 중단: 문서의 변경 사항을 검색 서비스에 즉시 전파할 필요가 없는 경우(즉, 특정 기간 동안 최신성이 그다지 중요하지 않은 경우) 인덱싱을 일시 중단 (또는 목표 지연을 늘림)하십시오.
비즈니스 요구 사항에 따라 목표 지연 설정: 모든 검색 애플리케이션에 실시간 인덱싱이 필요한 것은 아닙니다. 목표 지연이 너무 낮으면 인덱스가 필요 이상으로 자주 새로 고쳐질 수 있습니다. 예를 들어, 소스 데이터가 5분마다 업데이트되지만 데이터의 컨슈머가 검색 서비스를 한 시간에 한 번만 쿼리하는 경우, 목표 지연을 5분이 아닌 1시간으로 설정합니다.
변경 사항을 함께 결합: 업데이트 비용에는 고정된 요소가 있으므로 더 적은 수의 대규모 업데이트가 더 빈번한 소규모 업데이트보다 비용이 적게 듭니다. 마찬가지로 행 내의 값을 변경하면 해당 검색 열 내의 데이터가 변경되지 않더라도 해당 행의 검색 열이 다시 포함되도록 트리거되므로 행의 모든 변경 사항을 한 번의 업데이트에 누적하는 것이 좋습니다.
소스 데이터에 대한 변경 최소화: 소스 쿼리의 스키마가 변경되면 벡터 임베딩 및 인덱스를 포함하여 서비스가 완전히 새로 고쳐집니다. 대규모 서비스를 만들 때는 나중에 사용할 수 있도록 여분의 페이로드 열을 포함시켜 열을 추가해야 할 때 스키마를 변경하여 전체 새로 고침을 트리거할 필요가 없도록 하십시오. 추가 열의 비용은 저렴합니다.

팁

CREATE OR REPLACE 명령을 사용하여 소스 쿼리의 테이블에 있는 데이터를 구체화하면 서비스가 완전히 새로 고쳐지고 모든 벡터가 다시 임베드됩니다. 소스 테이블을 점진적으로 업데이트(예: MERGE INTO)하는 것이 좋습니다.
소스 쿼리를 가능한 한 단순하게 유지하십시오: 조인 또는 기타 복잡한 작업으로 인해 인덱싱 비용이 추가될 수 있으며 ETL 또는 다른 스테이지에서 적용하는 것이 더 좋을 수 있습니다. 파이프라인 최적화에 대한 자세한 내용은 동적 테이블 모범 사례를 참조하십시오.

서빙 비용 관리하기¶

다음 팁은 Cortex Search Service의 제공 비용을 관리하는 데 유용할 수 있습니다.

쿼리를 제공하지 않을 때 제공 일시 중단하기: 실행 중인 검색 서비스는 쿼리를 제공하지 않더라도 비용이 발생합니다. 개발 중인 경우 등과 같이 필요하지 않은 경우 서비스를 일시 중단 하십시오. 일시 중단된 서비스를 재개하는 데는 일반적으로 몇 분 밖에 걸리지 않습니다.

관찰 비용¶

Cortex Search Service의 비용에 대해 자세히 알아보려면 다음 Account Usage 뷰를 참조하십시오.

CORTEX_SEARCH_DAILY_USAGE_HISTORY 뷰 에는 EMBED_TEXT 토큰 계산 및 서비스당 크레딧 계산 사용량에 대한 일일 총계가 포함됩니다. Snowflake는 향후 이 뷰에서 가상 웨어하우스 사용 기능도 제공할 계획입니다.
CORTEX_SEARCH_SERVING_USAGE_HISTORY 뷰 에는 서비스당 시간당 서비스 제공 크레딧이 포함됩니다.

Snowflake는 향후 이 정보를 Cortex Search 관리자 인터페이스에서 사용할 수 있도록 할 계획입니다.

비용 예상하기¶

EMBED_TEXT 토큰 계산¶

EMBED_TEXT 토큰 계산은 검색 열의 텍스트 토큰당, 문서당, 선택한 임베딩 모델의 크레딧 요율에 해당하는 비용으로 청구됩니다. 이 컴퓨팅 비용은 서비스 초기화 중 ON 열의 각 행을 포함하여 삽입 또는 업데이트되는 각 행에 대해 발생하며, 그 이후에도 모든 삽입 또는 업데이트에 대해 발생합니다. 각 임베딩 모델의 토큰당 비용에 대한 자세한 내용은 Cortex Search 임베딩 모델 을 참조하십시오.

예를 들어, 각각 500개의 토큰이 있는 1,000만 행의 소스 쿼리에 대해 서비스를 만들고 선택한 임베딩 모델이 1백만 토큰당 0.05크레딧을 발생시키는 경우, 초기 새로 고침에 대해 다음과 같은 비용을 지불할 것으로 예상할 수 있습니다.

(100만 토큰당 0.05 크레딧) * (10,000,000개 행) * (행당 500 토큰) / (1,000,000 토큰)

= 250 크레딧

이후 삽입되거나 업데이트되는 각 행에 대해 토큰 100만 개당 0.05 크레딧의 비용이 발생합니다.

팁

대략적으로 토큰 하나는 영어 단어의 약 3/4, 즉 약 4개 문자에 해당합니다. 행당 토큰의 정확한 추정치를 얻으려면 실제 데이터의 대표 샘플과 함께 COUNT_TOKENS 함수를 사용하십시오.

컴퓨팅 제공¶

컴퓨팅 서비스는 인덱스된 데이터의 기가바이트당 요금이 부과되며, 여기서 인덱스된 데이터는 Cortex Search 소스 쿼리에서 사용자가 제공한 데이터와 사용자를 대신하여 계산된 벡터 임베딩을 말합니다. 이는 서비스 제공 상태가 재개되는 한 지속적으로 발생하는 비용입니다. 이 비용은 인덱스된 행 수, 인덱스된 전체 데이터의 크기, 선택한 벡터 임베딩 모델의 차원에 따라 결정됩니다. 각 임베딩 모델의 차원에 대한 자세한 내용은 Cortex Search 임베딩 모델 을 참조하십시오.

예를 들어, 1,000만 행의 서비스가 있고, 선택한 임베딩 모델의 차원이 768개이고, 소스 쿼리의 각 행이 약 1,000바이트(검색 열 포함)이며 인덱스된 데이터의 GB/월당 크레딧 비용이 6.3인 경우, 월별 비용은 다음과 같을 것으로 예상할 수 있습니다.

(GB 당 6.3 크레딧) * (10,000,000개 행) * (768개 차원 * 차원당 4바이트 + 행당 1,000바이트) / (GB 당 1,000,000,000바이트)

= 매월 256.5 크레딧

참고

행당 데이터 크기는 사용 사례에 따라 다르며 열의 검색 또는 특성 열 지정과 관계없이 서비스에서 인덱싱하는 데이터의 양(행과 열의 수)에 따라 증가합니다.

웨어하우스 컴퓨팅¶

가상 웨어하우스 의 컴퓨팅 비용은 데이터의 변화율, 목표 지연, 웨어하우스 규모에 따라 달라질 수 있습니다. 일반적으로 목표 지연 값이 낮고 기본 데이터의 변경률이 높은 Cortex Search Service는 웨어하우스 관련 컴퓨팅 비용이 더 많이 발생합니다.

팁

Cortex Search 파이프라인과 관련된 웨어하우스 비용을 명확하게 파악하려면, 전용 웨어하우스를 사용하여 Cortex Search를 테스트해 Cortex Search 새로 고침에 특성화된 가상 웨어하우스 소비를 분리할 수 있습니다. 비용 기준선을 설정한 후 Cortex Search Service를 공유 웨어하우스로 옮길 수 있습니다.

저장¶

Cortex Search Service에는 검색 인덱스뿐만 아니라 소스 쿼리의 구체화된 결과를 저장할 저장소가 필요합니다. 저장된 데이터의 크기는 CORTEX_SEARCH_DATA_SCAN 테이블 함수를 사용하여 소스 쿼리를 테이블로 구체화한 다음 해당 테이블의 크기를 조사하여 추정할 수 있습니다.

이 저장소에 비용이 발생하는 방식에 대한 자세한 내용은 저장소 비용 이해하기 섹션을 참조하십시오.

클라우드 서비스¶

Cortex Search Service는 클라우드 서비스 컴퓨팅 을 사용하여 기본 오브젝트가 변경되었을 때 새로 고침을 트리거합니다. 이러한 비용은 데이터의 변경 속도, 목표 지연, 데이터 웨어하우스 규모에 따라 달라질 수 있습니다. 변경률이 낮은 사용 사례의 경우 Cortex Search에서 변경 추적을 위한 클라우드 서비스 비용이 더 낮은 경향이 있습니다. 클라우드 서비스 컴퓨팅 비용은 일일 클라우드 서비스 비용이 계정의 일일 웨어하우스 비용의 10%보다 큰 경우에만 Snowflake가 요금을 청구하는 제약 조건을 따릅니다.