Categorias:: Funções do sistema (Controle)

EXECUTE_AI_EVALUATION¶

Inicie ou obtenha o status de uma execução de avaliação do Cortex Agent.

Para obter mais informações sobre avaliações do Cortex Agent, consulte Avaliações do Cortex Agent.

Consulte também:: GET_AI_RECORD_TRACE (SNOWFLAKE.LOCAL), GET_AI_EVALUATION_DATA (SNOWFLAKE.LOCAL), GET_AI_OBSERVABILITY_LOGS (SNOWFLAKE.LOCAL)

Sintaxe¶

EXECUTE_AI_EVALUATION( <evaluation_job> , <run_parameters> , <config_file_path> )

Argumentos¶

evaluation_job

Um dos seguintes valores:

“START”: inicia uma avaliação

“STATUS”: recupera o status de uma avaliação

run_parameters

Um valor SQL OBJECT que contém a seguinte chave:

run_name: O nome da execução na qual a operação evaluation_job será realizada.

config_file_path

Um caminho de arquivo de área de preparação que aponta para uma configuração de avaliação de agente. Esse caminho não pode ser um URL assinado. Para obter a especificação YAML de configuração completa, consulte Especificação de YAML da avaliação de agentes.

Retornos¶

O valor de retorno dessa função depende do evaluation_job:

“START” retorna uma única mensagem de cadeia de caracteres, indicando se a execução do SQL foi bem-sucedida ou falhou.

“STATUS” retorna uma tabela contendo informações sobre o estado atual da execução da avaliação.

A tabela retornada pelo trabalho de avaliação “STATUS” tem as seguintes colunas:


Nome	Tipo	Descrição
RUN_NAME	VARCHAR	O nome da execução da avaliação.
AGENT_NAME	VARCHAR	O nome (não qualificado) do agente que está sendo avaliado.
AGENT_TYPE	VARCHAR	O tipo de agente que está sendo avaliado.
STATUS	VARCHAR	O status atual da execução da avaliação.
STATUS_DETAILS	ARRAY	Uma matriz de mensagens de erro que ocorreram durante esta execução.

Os valores na coluna STATUS são um dos seguintes:

Status de execução¶
Status	Descrição
CREATED	A execução foi criada, mas não iniciada.
INVOCATION_IN_PROGRESS	A invocação de execução está no processo de gerar a saída e os rastreamentos.
INVOCATION_COMPLETED	A invocação de execução foi concluída com todas as saídas e rastreamentos criados.
INVOCATION_PARTIALLY_COMPLETED	A invocação de execução foi parcialmente concluída devido a falhas na invocação do aplicativo e na geração de rastreamento.
COMPUTATION_IN_PROGRESS	O cálculo da métrica está em andamento.
COMPLETED	O cálculo da métrica é concluído com saídas e rastreamentos detalhados.
PARTIALLY_COMPLETED	A execução é parcialmente concluída devido a falhas durante o cálculo da métrica.
CANCELLED	A execução foi cancelada.

Requisitos de controle de acesso¶

Para obter os requisitos completos de controle de acesso para realizar uma avaliação do Cortex Agent, consulte Avaliações do Cortex Agent – requisitos de controle de acesso.

Exemplos¶

O exemplo a seguir inicia uma execução chamada run-1 usando a configuração de avaliação do agente de @eval_db.eval_schema.metrics/agent_evaluation_config.yaml:

CALL EXECUTE_AI_EVALUATION(
  'START',
  OBJECT_CONSTRUCT('run_name', 'run-1'),
  '@eval_db.eval_schema.metrics/agent_evaluation_config.yaml'
);

O exemplo a seguir consulta o status da execução de avaliação run-1 usando a configuração do agente de @eval_db.eval_schema.metrics/agent_evaluation_config.yaml:

CALL EXECUTE_AI_EVALUATION(
  'STATUS',
  OBJECT_CONSTRUCT('run_name', 'run-1'),
  '@eval_db.eval_schema.metrics/agent_evaluation_config.yaml'
);