Cortex Knowledge Extension

CKEs(Cortex Knowledge Extensions)는 `Snowflake Marketplace <https://app.snowflake.com/_deeplink/marketplace>`_에서, 또는 :ref:`비공개 목록<label-listings_create>`이나 :doc:`조직 목록</user-guide/collaboration/listings/organizational/org-listing-about>`을 통해 공유할 수 있는 :doc:`Cortex Search Services</user-guide/snowflake-cortex/cortex-search/cortex-search-overview>`입니다. 이러한 기능은 RAG(검색 증강 생성) 아키텍처에서 라이선스 및 독점 콘텐츠를 Cortex AI 애플리케이션에 통합하는 데 사용할 수 있습니다. 예를 들어, CKEs는 기사, 시장 조사, 책 또는 포럼 게시물과 같은 비정형 콘텐츠의 지식을 챗봇 및 에이전트 시스템과 같은 Cortex AI 애플리케이션에 통합하는 데 사용할 수 있습니다.

CKE 작동 방법

작동 방식은 다음과 같습니다.

  1. 공급자는 자신의 텍스트 데이터를 계정의 테이블에 업로드하고 테이블에 Cortex Search Service 를 생성합니다. 이 Cortex Search Service는 Snowflake Marketplace 에서 공유됩니다. Snowflake Marketplace에서 공유되는 Cortex Search Service를 Cortex Knowledge Extension(CKE)이라고 합니다.

  2. A Consumer builds an application leveraging Cortex AI, such as a chatbot, using Cortex AI Functions or the Cortex Agent API with the CKE.

  3. CKE 와 통합된 Cortex AI 애플리케이션에 프롬프트가 주어지면 이 프롬프트는 CKE 로 전달되어 의미 체계 검색을 수행하여 관련 지식을 얻습니다. 관련 지식은 Cortex AI 애플리케이션의 LLM 에 제공되어 추론된 후 인용 및 특성과 함께 사용자에게 다시 답변을 반환합니다.

공급자의 Cortex Search Service에서 검색 인덱스, 컨슈머의 프롬프트 응답에 이르는 CKE 워크플로를 보여주는 순서도입니다.

CKE 기능

Cortex Knowledge Extension의 주요 기능은 다음과 같습니다.

이러한 각 기능에 대해 아래에서 자세히 설명합니다.

내용 보호

공급자는 CKE 에서 24시간 동안 컨슈머에게 반환할 수 있는 인덱스된 내용의 비율을 제한할 수 있습니다. 이 작업은 아래 명령을 사용하여 임계값을 설정하면 됩니다. 임계값은 개별 문서 수준에서 적용되는 것이 아니라 인덱스된 내용의 전체 말뭉치에 적용됩니다. 컨슈머는 CKE 에서 인덱스된 내용의 임계값 비율만큼만 액세스할 수 있습니다.

cke_content_protection 필드에 대한 자세한 내용은 목록 매니페스트 참조 섹션을 참조하십시오.

-- Use CREATE to create a new CKE listing with content protection.
-- Use ALTER to update an existing listing with content protection.

-- This example creates a CKE listing targeting to two accounts.
CREATE EXTERNAL LISTING cke_listing
SHARE cke_share AS
$$
title: "CKE Listing Title"
description: "Cortex Knowledge Extension Listing Description"
listing_terms:
  type: "STANDARD"
auto_fulfillment:
  refresh_type: "SUB_DATABASE"
  refresh_schedule: "1440 MINUTE"
targets:
  accounts:
    - "ORG1.ACCOUNT1"
    - "ORG2.ACCOUNT2"
cke_content_protection:
  enable: true,
  threshold: 0.2
$$

-- DESCRIBE LISTING cke_listing
-- See the manifest_yaml column for the cke_content_protection setting
Copy

컨슈머가 임계값에 도달하면 CKE 에 대한 쿼리 실행이 차단되고 컨슈머는 다음과 같은 오류를 받게 됩니다.

You have reached the content protection threshold. Please try again later.

컨슈머는 임계값이 새로 고쳐지면 데이터를 다시 쿼리할 수 있습니다.

관리

CKE에서 실행한 쿼리 수를 확인하려면 |sf-web-interface-link|에 로그인합니다. 탐색 메뉴에서 :ui:`Data sharing` |raa| Provider Studio » Home`을 선택합니다. :ui:`Analytics 섹션에는 실행된 쿼리 수가 표시됩니다.

평가판 지원

공급자는 고객에게 CKE의 :ref:`제한적 평가판<label-trial_listing>`을 제공하여 비용 지불을 약정하기 전에 제품을 사용해 보도록 할 수 있습니다.

Monetization

Cortex Knowledge Extensions는 구독 방식으로 온플랫폼 Snowflake Marketplace 수익 창출 기능을 사용하거나 오프플랫폼 수익 창출을 통해 수익을 창출할 수 있습니다.

리전 가용성

Cortex Knowledge Extension은 Cortex Search 이 제공되는 모든 리전에서 사용할 수 있습니다.

주요 고려 사항

고객이 Cortex Knowledge Extension을 사용하는 경우 :doc:`Cortex Search Service</user-guide/snowflake-cortex/cortex-search/cortex-search-overview>`의 서비스를 비활성화하면 고객의 애플리케이션이 중단될 수 있습니다.

Cortex Knowledge Extension의 고급 튜닝에 대해서는 Cortex Search 설명서를 참조하십시오.

CKE의 비용

Providers:

  • Providers pay to host the Cortex Search Service in their account, including indexing, servicing, and replication to other regions. For more information about costs associated with Cortex Search Services, providers can refer to Cortex Search Service 비용 이해하기.

Consumers:

  • If the CKE isn’t free, consumers pay the provider to access the CKE.

  • If the CKE leverages a Cortex Agent, consumers pay for the Cortex Agent. For more information, see 비용 고려 사항 for Cortex Agents.

인용

CKE 에서 인용을 제공하도록 하려면 Cortex Search Services 를 구성할 때 인덱스된 열에 문서의 출처를 가리키는 SOURCE_URL 열을 포함해야 합니다. LLMs 또는 Snowflake Intelligence에서 이를 사용하여 명확한 특성 및 소스 자료로 돌아가는 하이퍼링크를 제공할 수 있습니다.

CKE 를 Snowflake Marketplace에 게시하기

Marketplace에 게시하려는 Cortex Search Service를 생성한 후, 목록을 만듭니다. 게시하려는 오브젝트로 생성한 Cortex Search Service 오브젝트를 가리켜야 합니다.

CKE 와 대화하기

다음 방법을 사용하여 CKE 에 질문할 수 있습니다.

CKE 업데이트하기

CKE 를 최신 상태로 유지하는 것은 정기적으로 새로운 내용이나 업데이트된 내용을 소개하는 공급자의 일반적인 사용 사례입니다. Cortex Knowledge Extension을 최신 상태로 유지하려면 다음과 같이 하십시오.

  1. Snowflake 계정에 새/업데이트된 문서를 삽입하는 별도의 프로세스를 통해 내용이 포함된 기본 테이블이 업데이트되었는지 확인합니다.

  2. Cortex Search Service 목표 지연을 검토합니다. Cortex Search Service는 특정 target_lag 까지 데이터를 새로 고치고 최신 상태로 유지하도록 구성됩니다. target_lag 에 대한 자세한 내용은 Cortex Search SQL 사용 항목을 참조하십시오.

  3. 다음 명령을 실행하여 Cortex Search Service가 인덱싱 중인지 확인합니다.

    -- Get the status of the search service
    DESCRIBE CORTEX SEARCH SERVICE cke_simple_cortex_search_service;
    
    -- If the indexing status is suspended, you can resume it with the following command
    ALTER CORTEX SEARCH SERVICE cke_simple_cortex_search_service RESUME INDEXING;
    
    Copy

CKE 및 자동 복제

컨슈머는 해당 리전에서 제공되는 Cortex Knowledge Extension에만 액세스할 수 있습니다. 공급자는 Provider Studio의 Cortex Knowledge Extension 목록에 대해 자동 복제를 활성화하여 Cortex Search Service를 원격 컨슈머 리전에 자동으로 복제할 수 있습니다.

제한 사항

  • CKEs에 대한 사용량 기반 청구는 지원되지 않습니다.

  • CKEs are not supported in listings that have Egress Cost Optimizer (ECO) enabled.

    Providers should be aware of the cost implications for replication with listings that have a CKE.

    Adding a CKE to a listing that has ECO enabled will automatically turn off ECO. With ECO turned off, costs associated with the listing can increase. An email notification will also be sent to the provider indicating that ECO was turned off.

    Similarly, if a CKE is added to a listing that’s part of a replication group, then ECO will be turned off for all listings within that replication group. An email notification will be sent to the provider indicating that the ECO was turned off.