Référence pour Snowflake AI Observability¶

Pertinence contextuelle¶

La pertinence contextuelle détermine si le contexte récupéré auprès du récupérateur ou du service de recherche est pertinent par rapport à la requête de l’utilisateur. Compte tenu de la requête de l’utilisateur et du contexte récupéré, un juge LLM est utilisé pour déterminer la pertinence du contexte récupéré en fonction de la requête.

Attributs requis :

• RETRIEVAL.QUERY_TEXT : Requête de l’utilisateur dans un RAG ou une application de recherche

• RETRIEVAL.RETRIEVED_CONTEXTS : Contexte récupéré auprès du service de recherche ou du récupérateur

Fiabilité factuelle¶

La fiabilité factuelle détermine si la réponse générée est étayée et ancrée dans le contexte récupéré auprès du récupérateur ou du service de recherche. Compte tenu de la réponse générée et du contexte récupéré, un juge LLM est utilisé pour déterminer le caractère fondé de la réponse. La mise en œuvre sous-jacente utilise le raisonnement par chaîne de pensée pour générer les scores de fiabilité factuelle.

Attributs requis :

• RETRIEVAL.RETRIEVED_CONTEXTS : Requête de l’utilisateur dans un RAG ou une application de recherche

• RECORD_ROOT.OUTPUT : Réponse finale générée par le LLM

Pertinence de la réponse¶

La pertinence de la réponse détermine si la réponse générée est pertinente par rapport à la requête de l’utilisateur. Compte tenu de la requête de l’utilisateur et de la réponse générée, un juge LLM est utilisé pour déterminer le degré de pertinence de la réponse par rapport à la requête de l’utilisateur. Notez que cette méthode ne s’appuie pas sur la référence de la réponse à la réalité de terrain et qu’elle n’équivaut donc pas à l’évaluation de l’exactitude de la réponse.

Attributs requis :

• RECORD_ROOT.INPUT : Requête de l’utilisateur dans un RAG ou une application de recherche

• RECORD_ROOT.OUTPUT : Réponse finale générée par le LLM

Exactitude¶

L’exactitude détermine le degré d’alignement de la réponse générée avec la réalité de terrain. Un score d’exactitude plus élevé indique une réponse plus précise avec un alignement plus important sur la réalité de terrain.

Attributs requis :

• RECORD_ROOT.INPUT : Requête de l’utilisateur ou prompt au LLM

• RECORD_ROOT.GROUND_TRUTH_OUTPUT : Réponse attendue en fonction de la requête de l’utilisateur

• RECORD_ROOT.OUTPUT : Réponse générée par le LLM

Cohérence¶

La cohérence permet de déterminer si la réponse générée par le modèle est cohérente et ne présente pas de lacunes logiques, d’incohérences ou de contradictions. Un score de cohérence élevé indique une réponse très cohérente.

Attributs requis :

• RECORD_ROOT.OUTPUT : Réponse générée par le LLM

Coût et temps de latence¶

Privilèges requis¶

Vous devez disposer des privilèges suivants pour utiliser AI Observability.

• Pour utiliser AI Observability, votre rôle doit être le rôle de base de données CORTEX_USER. Le rôle CORTEX_USER est requis pour les fonctions de la base de données. Pour obtenir des informations sur la manière d’accorder et de révoquer ce rôle, voir Privilèges requis.

• Pour enregistrer une application, votre rôle doit disposer des privilèges CREATE EXTERNAL AGENT sur le schéma. Pour plus d’informations, voir Applications.

• Pour créer et exécuter des cycles, votre rôle doit disposer des privilèges USAGE sur l’objet EXTERNAL AGENT créé pour l’application et du rôle d’application AI_OBSERVABILITY_EVENTS_LOOKUP ou AI_OBSERVABILITY_ADMIN. Pour plus d’informations, voir Cycles et Données d’observabilité.

L’exemple suivant utilise le rôle ACCOUNTADMIN pour accorder à l’utilisateur some_user les droits suivants :

• Le rôle de base de données CORTEX_USER

• Le rôle d’application AI_OBSERVABILITY_EVENTS_LOOKUP

• Le privilège CREATEEXTERNALAGENT sur le schéma app_schema

USE ROLE ACCOUNTADMIN;

CREATE ROLE observability_user_role;

GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE observability_user_role;

GRANT APPLICATION ROLE SNOWFLAKE.AI_OBSERVABILITY_EVENTS_LOOKUP TO ROLE observability_user_role;

GRANT CREATE EXTERNAL AGENT ON SCHEMA app_schema TO ROLE observability_user_role;

GRANT ROLE observability_user_role TO USER some_user;

L’exemple précédent utilisait le rôle observability_user_role pour accorder les privilèges à some_user.

Applications¶

La création d’une application pour l’évaluation crée un objet EXTERNAL AGENT pour représenter l’application dans Snowflake. Le rôle requis pour créer et modifier une application doit répondre aux exigences suivantes en matière de contrôle d’accès.

Un rôle utilisé pour créer une application doit au minimum disposer des privilèges suivants :

Le privilège USAGE relatif à la base de données et au schéma parents est exigé pour effectuer des opérations sur tout objet d’un schéma.

La modification et la suppression de l’application requièrent les privilèges OWNERSHIP sur l’objet EXTERNAL AGENT.

Si le rôle d’un utilisateur dispose des privilèges USAGE ou OWNERSHIP sur une application (EXTERNAL AGENT), l’application apparaît dans Evaluations sous AI & ML dans Snowsight.

Cycles¶

Un rôle utilisé pour ajouter, modifier ou supprimer un cycle à une application doit avoir les privilèges USAGE sur l’objet EXTERNAL AGENT représentant l’application dans Snowflake.

La suppression d’un cycle supprime les métadonnées associées à ce cycle. Les enregistrements créés dans le cadre du cycle ne sont pas supprimés et restent stockés. Veuillez consulter la rubrique Données d’observabilité pour plus d’informations sur le stockage des enregistrements et des traçages.

Pour obtenir des instructions sur la création d’un rôle personnalisé avec un ensemble spécifique de privilèges, voir Création de rôles personnalisés. Pour des informations générales sur les rôles et les privilèges accordés pour effectuer des actions SQL sur des objets sécurisables, voir Aperçu du contrôle d’accès.

LLMs as judges¶

AI Observability utilise Cortex LLMs as judges pour calculer les mesures d’évaluation de vos applications. Pour réussir à calculer ces mesures, vous devez disposer d’autorisations d’accès à Cortex LLMs. Pour accorder aux rôles d’utilisateur l’accès aux LLMs Cortex, veuillez consulter les privilèges requis. L’utilisateur doit avoir accès au modèle configuré en tant que juge LLM. Le modèle par défaut utilisé pour le juge LLM est llama3.1-70b. Le modèle de juge LLM par défaut est susceptible d’être modifié à l’avenir.

Données d’observabilité¶

Les données d’AI Observability représentent les enregistrements contenant les entrées, les sorties, les notes d’évaluation et les traçages associés pour vos applications d’AI générative. Tous les enregistrements sont stockés dans une table d’événements dédiée AI_OBSERVABILITY_EVENTS dans votre compte sous le schéma SNOWFLAKE.LOCAL.

Les données d’AI Observability intégrées dans la table des événements ne peuvent pas être modifiées. Les administrateurs ayant le rôle d’application AI_OBSERVABILITY_ADMIN ont un accès exclusif à la suppression des données de la table d’événements SNOWFLAKE.LOCAL.AI_OBSERVABILITY_EVENTS.

Il est possible d’accéder aux données d’AI Observability à l’aide du SDK Trulens Python ou de Snowsight. Les privilèges suivants sont requis pour voir les enregistrements d’une application et des cycles associés :

• L’utilisateur doit avoir le rôle d’application SNOWFLAKE.AI_OBSERVABILITY_ADMIN ou SNOWFLAKE.AI_OBSERVABILITY_EVENTS_LOOKUP

• Le rôle d’utilisateur doit avoir le privilège USAGE sur l’objet EXTERNAL AGENT qui représente l’application.

Par exemple, pour voir les cycles d’une application RAG instrumentée en externe, le rôle d’utilisateur requiert le privilège USAGE sur « my-db.my-schema.rag-application1 », où rag-application1 est l’objet EXTERNAL AGENT qui représente l’application RAG externe dans Snowflake.

Les métadonnées associées aux cycles et aux agents externes (telles que le nom du cycle, la description, le nom du jeu de données, etc.) sont classées en tant que métadonnées.