Cortexナレッジ拡張¶
Cortex Knowledge Extensions(CKEs)は、Snowflake Marketplace で、または プライベートリスト か 組織リスト を介して共有できる Cortex Search Service です。これらを検索拡張生成(RAG)アーキテクチャで使用することで、ライセンスコンテンツや独自コンテンツをCortex AI アプリケーションに統合できます。たとえば、CKEs を使用すると、記事、市場調査、本、フォーラム投稿などの非構造化コンテンツのナレッジを、チャットボットやエージェントシステムなどのCortex AI アプリケーションに統合できます。
CKE の仕組み¶
仕組みはこうです。
プロバイダーは自分のアカウント内のテーブルにテキストデータをアップロードし、そのテーブル上に Cortex Search Service を作成します。このCortex Search Serviceは、 Snowflake Marketplace で共有されます。Snowflake Marketplaceで共有されるCortex Search Serviceは、Cortex Knowledge Extension (CKE) として知られています。
コンシューマーは、 Cortex AISQL または Cortex Agent API と CKE を使用して、チャットボットなどの Cortex AI を活用したアプリケーションを構築します。
CKE と統合されたCortex AI アプリケーションにプロンプトが与えられると、そのプロンプトは CKE に渡され、意味検索を実行して関連知識を取得します。関連する知識はCortex AI アプリケーションの LLM に返され、推論された後、引用と属性とともにユーザーに答えが返されます。
CKE 機能¶
Cortex Knowledge Extensionsのキー機能の一部をご紹介します:
それぞれの特徴については、以下で詳しく説明します。
コンテンツの保護¶
プロバイダーは、 CKE で、24時間以内にコンシューマーに返すことができるインデックスコンテンツの割合を制限することができます。これは、以下のコマンドを使用してしきい値を設定することによって行われます。閾値は個々のドキュメントレベルではなく、インデックスされたコンテンツのコーパス全体に適用されます。コンシューマーがアクセスできるのは、 CKE にあるインデックスされたコンテンツのうち、しきい値の割合に限られます。
cke_content_protection フィールドの詳細情報については、 リストマニフェストリファレンス を参照してください。
-- Use CREATE to create a new CKE listing with content protection.
-- Use ALTER to update an existing listing with content protection.
-- This example creates a CKE listing targeting to two accounts.
create external listing CKE_LISTING
share CKE_SHARE as
$$
title: "CKE Listing Title"
description: "Cortex Knowledge Extension Listing Description"
listing_terms:
type: "STANDARD"
auto_fulfillment:
refresh_type: "SUB_DATABASE"
refresh_schedule: "1440 MINUTE"
targets:
accounts:
- "ORG1.ACCOUNT1"
- "ORG2.ACCOUNT2"
cke_content_protection:
enable: true,
threshold: 0.2
$$
-- describe listing CKE_LISTING
-- See the manifest_yaml column for the cke_content_protection setting
コンシューマーが閾値に達すると、 CKE へのクエリの実行がブロックされ、コンシューマーは以下のエラーを受け取ります:
You have reached the content protection threshold. Please try again later.
コンシューマーは、閾値が更新されたときにデータを再クエリできます。
管理¶
CKE が実行したクエリ数を確認するには、Snowsight にサインインします。 ナビゲーションメニューで、Data sharing » Provider Studio » Home を選択します。その Analytics セクションに、実行されたクエリの数が表示されます。
トライアルサポート¶
プロバイダーとして、お客様に CKE の 限定トライアル を提供できます。これによりお客様は支払いを確約する前に製品を試せます。
収益化¶
Cortex Knowledge Extensionsは、サブスクリプション を通じてプラットフォーム上の Snowflake Marketplace の収益化 機能を使用することで、または プラットフォーム外の 収益化を介して、収益化できます。
リージョンの可用性¶
Cortex Knowledge Extensions は、 Cortex Search が利用可能なリージョンであれば、どのリージョンでも利用可能です。
キーポイント¶
顧客がCortex Knowledge Extensionを使用している場合、 Cortex Search Service のサービスを無効にすると、顧客のアプリケーションが壊れてしまうので注意してください。
Cortex Knowledge Extensionの高度なチューニングについては、 Cortex Search ドキュメントを参照してください。
引用文献¶
CKE が確実に引用を提供していることを確認するために、 Cortex Search Services を構成する際には、インデックスの列にドキュメントのソースを指す SOURCE_URL 列が含まれていることを確認してください。これは、 LLMs または Snowflake Intelligence が、明確な属性とソースへのハイパーリンクを提供するために使用できます。
CKE を Snowflake Marketplace に公開します。¶
Marketplaceに公開するCortex Search Serviceを作成したら、リストを作成します。確実に、公開するオブジェクトとして作成したCortex Search Serviceオブジェクトを指すようにします。
CKE との対話¶
以下の方法で CKE の質問をすることができます。
Cortex Search Playgroundをご利用ください:
Snowsight のナビゲーションメニューで、AI & ML » Cortex Search を選択します。
Database/Schema ドロップダウンメニューから CKE を選択します。
右上の Playground をクリックしてください。
検索クエリをタイプして結果をご覧ください。
Snowflake Intelligenceを使用してください:
チュートリアル 3:Snowflake Intelligence に CKE を追加します。 の手順に従ってください。
Cortex Agent API を使用します:
Cortex Agent API を使用し、 CREATE CORTEX SEARCH パラメーターで共有 CKE を指定します。詳細情報については、 Cortex Agent API ドキュメントを参照してください。
CKE のアップデート¶
CKE を常に最新の状態に保つことは、定期的に新しいコンテンツや更新されたコンテンツを導入するプロバイダーにとって、一般的なユースケースです。Cortex Knowledge Extensionが最新のものであることを確認するには、以下の手順を実行します:
Snowflakeアカウントに新しい/更新されたドキュメントを挿入する別のプロセスによって、コンテンツの基になるテーブルが更新されていることを確認してください。
Cortex Search Serviceのターゲットラグを確認します。Cortex Search Serviceはリフレッシュするように構成されており、ある一定の
target_lagまでデータを新鮮に保ちます。Cortex Search Use ``target_lag` の詳細情報については、 SQL <label_cortex_search_overview_example_sql>` のトピックを参照してください。以下のコマンドを実行し、Cortex Search Serviceがインデックスを作成していることを確認します。
-- Get the status of the search service DESCRIBE CORTEX SEARCH SERVICE cke_simple_cortex_search_service; -- If the indexing status is suspended, you can resume it with the following command ALTER CORTEX SEARCH SERVICE cke_simple_cortex_search_service RESUME INDEXING;
CKE および自動履行¶
コンシューマーは、自分のリージョンで利用可能になったCortex Knowledge Extensionにのみアクセスできます。プロバイダーは、Provider StudioでCortex Knowledge Extensionリストに対する 自動フルフィルメントを有効にする ことで、Cortex Search Serviceをリモートのコンシューマーのリージョンに自動複製できます。
制限事項¶
CKEs での 従量制 の請求はサポートされていません。