Cortex Agent-Anfragen überwachen

Cortex Agents protokollieren detaillierte Ablaufverfolgungen aller Konversationen zu Überwachungs- und Debugging-Zwecken. Bei der Überwachung können Sie auf den Konversationsverlauf eines Agenten zugreifen, der über Snowflake Intelligence oder die Agent-API bereitgestellt wird. Zusätzlich zum Konversationsverlauf können Sie die detaillierte Ablaufverfolgung des Planungsprozesses des Agenten, die Auswahl des Tools, die Ausführungsergebnisse und die letztendliche Antworterstellung überprüfen.

In Cortex Agent-Protokollen erfasste Informationen

Die Cortex Agent-Protokolle enthalten die folgenden Informationen:

  • Konversationsverlauf, der mit einem Thread verbunden ist

  • Ablaufverfolgung der Agentenausführung in folgenden Bereichen:

    • LLM-Planung

    • Ausführung des Tools (Cortex Search, Cortex Analyst, Websuche)

    • LLM-Antworterstellung

    • SQL-Ausführung

    • Diagrammerstellung

  • Ein- und Ausgaben, die mit jedem Bereich verbunden sind

  • Benutzerfeedback zu jeder Antwort des Agenten

Zugriff auf Cortex Agent-Protokolle

Um die Cortex Agent-Konversationsprotokolle auf der Snowsight anzuzeigen, gehen Sie wie folgt vor:

  1. Melden Sie sich bei Snowsight an.

  2. Wählen Sie im Navigationsmenü die Option AI & ML » Agents aus.

  3. Wählen Sie den Agenten aus, dessen Protokolle Sie einsehen möchten.

  4. Navigieren Sie zum Bereich Monitoring der Agent-Ansicht.

Die Überwachungsprotokolle zu dem Agenten werden in der Ereignistabelle SNOWFLAKE.LOCAL.AI_OBSERVABILITY_EVENTS gespeichert. Die Einträge in dieser Tabelle können nicht geändert werden.

Administratoren mit der Anwendungsrolle AI_OBSERVABILITY_ADMIN können Einträge in der Tabelle SNOWFLAKE.LOCAL.AI_OBSERVABILITY_EVENTS löschen.

View feedback provided by users

To view user feedback about agents programmatically, run the following SQL command:

SELECT * FROM TABLE(SNOWFLAKE.LOCAL.GET_AI_OBSERVABILITY_EVENTS('<database_name>', '<schema_name>', '<agent_name>', 'CORTEX AGENT')) WHERE RECORD:name='CORTEX_AGENT_FEEDBACK';
Copy

The resulting table contains columns that include information about the agent, the user who provided feedback, feedback provided by the user, and whether the feedback was positive or negative.

Zugriffssteuerung und Berechtigungen

Um die Cortex Agent-Protokolle einsehen zu können, müssen Benutzer über die folgenden Berechtigungen verfügen:

  • OWNERSHIP- oder MONITOR-Berechtigungen für das AGENT-Objekt

  • Die Datenbankrolle CORTEX_USER

  • Die Anwendungsrolle AI_OBSERVABILITY_EVENTS_LOOKUP

Im folgenden Beispiel wird die Rolle ACCOUNTADMIN verwendet, um eine neue agent_monitoring_user_role-Rolle mit den erforderlichen Berechtigungen zum Anzeigen der Cortex Agent-Protokolle zu erstellen. Diese neue Rolle wird dann some_user zugewiesen.

USE ROLE ACCOUNTADMIN;
CREATE ROLE agent_monitoring_user_role;
GRANT MONITOR ON AGENT my_agent TO ROLE agent_monitoring_user_role;
GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE agent_monitoring_user_role;
GRANT APPLICATION ROLE SNOWFLAKE.AI_OBSERVABILITY_EVENTS_LOOKUP TO ROLE agent_monitoring_user_role;
GRANT APPLICATION ROLE SNOWFLAKE.AI_OBSERVABILITY_ADMIN_RL TO ROLE agent_monitoring_user_role;
GRANT ROLE agent_monitoring_user_role TO USER some_user;
Copy

Gewähren von Überwachungszugriff auf zukünftige Agenten

Um einer Rolle die Überwachung von Zugriff auf zukünftige Agenten zu gewähren, die in einem Schema erstellt wurden, verwenden Sie folgenden SQL-Befehl:

GRANT MONITOR ON FUTURE AGENTS IN SCHEMA <database_name>.<schema_name> TO ROLE <role_name>;
Copy
Sprache: Deutsch