Snowflake AI 可観測性リファレンス¶

コンテキスト関連性¶

コンテキストの関連性は、リトリーバまたは検索サービスから取得したコンテキストがユーザーのクエリに関連しているかどうかを判断します。ユーザーのクエリと検索されたコンテキストが与えられると、 LLM ジャッジがクエリに基づいて検索されたコンテキストの関連性を決定するために使用されます。

必須属性:

• RETRIEVAL.QUERY_TEXT: RAG または検索アプリケーションにおけるユーザークエリ

• RETRIEVAL.RETRIEVED_CONTEXTS: 検索サービスまたはリトリーバーから取得したコンテキスト

現実性¶

根拠は、生成された応答が、リトリーバーまたは検索サービスから検索されたコンテキストによってサポートされ、根拠があるかどうかを決定します。生成された応答と検索されたコンテキストをもとに、 LLM のジャッジで根拠を判断します。基になる実装では、根拠スコアを生成する際にChain-of-thought推論を使用します。

必須属性:

• RETRIEVAL.RETRIEVED_CONTEXTS: RAG または検索アプリケーションにおけるユーザークエリ

• RECORD_ROOT.OUTPUT: LLM によって生成された最終応答。

回答の関連性¶

回答の関連性は、生成された回答がユーザーのクエリに関連しているかどうかを判断します。ユーザーのクエリと生成された応答が与えられると、 LLM は、その応答がユーザーのクエリにどの程度関連しているかを判定します。これはグランドトゥルースのリファレンスに依存しないため、答えの正しさを評価することにはならないことに注意してください。

必須属性:

• RECORD_ROOT.INPUT: RAG または検索アプリケーションにおけるユーザークエリ

• RECORD_ROOT.OUTPUT: LLM によって生成された最終応答。

正確性¶

正しさとは、生成された応答がどれだけグランドトゥルースと一致しているかを決定するものです。正しさのスコアが高いほど、より正確で、グランドトゥルースとの整合性が高いことを示します。

必須属性:

• RECORD_ROOT.INPUT: LLM へのユーザークエリまたはプロンプト。

• RECORD_ROOT.GROUND_TRUTH_OUTPUT: ユーザーのクエリに基づいて期待される応答

• RECORD_ROOT.OUTPUT: LLM によって生成されたレスポンスです。

一貫性¶

首尾一貫性は、生成されたモデルの応答が首尾一貫しており、論理的なギャップや矛盾、矛盾がないかどうかを測定します。一貫性のスコアが高いほど、一貫性の高い回答であることを示します。

必須属性:

• RECORD_ROOT.OUTPUT: LLM によって生成されたレスポンスです。

コストとレイテンシー¶

必要な権限¶

AI Observabilityを使用するには以下の権限が必要です。

• AI Observabilityを使用するには、ロールが CORTEX_USER データベースロールを持っている必要があります。CORTEX_USER ロールはデータベース関数に必要です。このロールの付与と取り消しに関する情報については、 Cortex LLM 権限 を参照してください。

• アプリケーションを登録するには、あなたのロールがスキーマに対して CREATE EXTERNAL AGENT 権限を持っている必要があります。詳細については、 アプリケーション をご参照ください。

• 実行を作成して実行するには、ロールが次を実行する必要があります。

  • USAGE privileges on the External Agent object created for the application

  • アプリケーションが登録されているスキーマに対する CREATETASK 権限。

  • EXECUTE TASK アプリケーションを実行するタスクを実行するグローバル権限。

    For more information, see 実行 and 観測可能データ.

以下の例では、 ACCOUNTADMIN ロールを使用して、ユーザー some_user に以下の権限を付与しています。

• CORTEX_USER データベースロール

• CREATE EXTERNAL AGENT スキーマに対する app_schema 権限

• app_schema スキーマに対する CREATE TASK 権限 。

• EXECUTE TASK グローバル権限

USE ROLE ACCOUNTADMIN;

CREATE ROLE observability_user_role;

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE observability_user_role;

GRANT CREATE EXTERNAL AGENT ON SCHEMA app_schema TO ROLE observability_user_role;

GRANT CREATE TASK ON SCHEMA app_schema TO ROLE observability_user_role;

GRANT EXECUTE TASK ON ACCOUNT TO ROLE observability_user_role;

GRANT ROLE observability_user_role TO USER some_user;

アプリケーション¶

Creating an application for evaluation creates an External Agent object to represent the application in Snowflake. You can also manage external agents directly using SQL commands. For more information, see 外部エージェントコマンド.

The role required to create and modify an application must have the following access control requirements.

アプリケーションの作成に使用されるロールには、以下の権限が必要です。

スキーマ内のオブジェクトに対して操作を実行するには、親データベースとスキーマに対する USAGE 権限が必要です。

Modifying and deleting the application require OWNERSHIP privileges on the External Agent object.

If a user’s role has USAGE or OWNERSHIP privileges on an application (External Agent), the application appears in Evaluations under AI & ML within Snowsight.

実行¶

アプリケーションに 実行を追加、変更する、または削除するために使用されるロールには、以下の権限が必要です。

ランを削除すると、そのランに関連するメタデータが削除されます。実行の一部として作成された記録は削除されず、保存されたままになります。記録やトレースのストレージについては、「観測可能データ」をご覧ください。

指定された権限セットを持つカスタムロールの作成手順については、Creating custom rolesを参照してください。セキュリティ保護可能なオブジェクトに対して SQL アクションを実行するためのロールと権限付与に関する一般的な情報については、 アクセス制御の概要 を参照してください。

審査員としての LLMs¶

AI 可観測性は、Cortex LLMs をジャッジとして使用し、アプリケーションを評価するためのメトリクスを計算します。これらのメトリクスを正常に計算するには、Cortex LLMs へのアクセス許可が必要です。ユーザーロールにCortex LLMs へのアクセス権限を付与するには、必要な権限を参照してください。ユーザーは、 LLM ジャッジとして構成されたモデルへのアクセスを持っている必要があります。LLM ジャッジのデフォルトモデルは llama3.1-70b です。デフォルトの LLM 裁判官モデルは将来変更される可能性があります。

観測可能データ¶

AI 観測可能データは、生成 AI アプリケーションの入力、出力、評価スコア、および関連するトレースを含む記録を表します。すべての記録は、あなたのアカウントの SNOWFLAKE.LOCAL スキーマの下にある専用のイベントテーブル AI_OBSERVABILITY_EVENTS に保存されます。

For Cortex Agents and for External Agent objects used with AI Observability, you can query observability events through SQL using the GET_AI_OBSERVABILITY_EVENTS table function. Pass CORTEX AGENT or EXTERNAL AGENT as the agent type (see Cortex Agentのリクエストのモニター for Cortex Agent monitoring examples). Access requirements for external applications are described in the following paragraphs in this topic.

An account-level privilege, READ UNREDACTED AI OBSERVABILITY EVENTS TABLE, can be required to see unredacted raw fields when reading AI_OBSERVABILITY_EVENTS through Cortex Agent monitoring in Snowsight and through the ``SNOWFLAKE.LOCAL`` observability user-defined table functions that apply that logic. It does not change Cortex Agent evaluation runs or the External Agent Evaluations experience. For details, see アカウント権限 READ UNREDACTED AI OBSERVABILITY EVENTS TABLE and Cortex Agentのリクエストのモニター.

AI observability data ingested into the event table cannot be modified. The SNOWFLAKE.AI_OBSERVABILITY_READER application role grants read-only access to SNOWFLAKE.LOCAL.AI_OBSERVABILITY_EVENTS. Administrators with the SNOWFLAKE.AI_OBSERVABILITY_ADMIN application role have exclusive access to delete data in the SNOWFLAKE.LOCAL.AI_OBSERVABILITY_EVENTS event table.

AI 観測可能データは、Trulens Python SDK または Snowsight を使用してアクセスできます。アプリケーションおよび関連ランの記録を表示するには、以下の権限が必要です。

• The user role must have the USAGE privilege on the External Agent object that represents the application.

For example, to view the runs for an externally instrumented RAG application, the user role requires the USAGE privilege on “my-db.my-schema.rag-application1”, where rag-application1 is the External Agent object that represents the external RAG application in Snowflake.

When you call SNOWFLAKE.LOCAL observability table functions against an External Agent (agent_type EXTERNAL AGENT), USAGE on that object is sufficient; the MONITOR privilege does not apply. OWNERSHIP on the External Agent is required to modify or drop the object with SQL; for more information, see 外部エージェントコマンド.

ランや外部エージェントに関連するメタデータ（ラン名、説明、データセット名など）は、メタデータとして分類されます。