Categorias:: Funções do sistema (Controle)

SYSTEM$CREATE_EVALUATION_DATASET¶

Cria um conjunto de dados do Snowflake para avaliações do Cortex Agent de uma tabela existente. O novo conjunto de dados é registrado nos mesmos banco de dados e esquema fornecidos no argumento de nome do conjunto de dados.

Use esta função para criar um conjunto de dados de avaliação com SQL (por exemplo, seguindo o guia Introdução às avaliações do Cortex Agent). Em vez disso, você pode criar um conjunto de dados de uma tabela no Snowsight quando iniciar uma avaliação ou definir um bloco dataset no arquivo YAML de avaliação. Para saber os requisitos de tabela e coluna para os dados de avaliação, consulte Formato do conjunto de dados.

Consulte também:: EXECUTE_AI_EVALUATION , GET_AI_EVALUATION_DATA (SNOWFLAKE.LOCAL)

Sintaxe¶

CALL SYSTEM$CREATE_EVALUATION_DATASET(
  '<agent_dataset_type>' ,
  '<source_table_name>' ,
  '<dataset_name>' ,
  <column_mapping>
);

Argumentos¶

'agent_dataset_type'

O tipo de conjunto de dados para avaliações do Cortex Agent. Use a cadeia de caracteres Cortex Agent. Esse valor não diferencia maiúsculas de minúsculas.

'source_table_name'

O nome totalmente qualificado da tabela de origem que contém entradas de avaliação e colunas de ground truth (verdade fundamental); por exemplo, MY_DB.MY_SCHEMA.MY_EVAL_TABLE.

'dataset_name'

O nome totalmente qualificado do conjunto de dados que o Snowflake cria (por exemplo, MY_DB.MY_SCHEMA.MY_EVAL_DATASET). O conjunto de dados é criado no banco de dados e esquema que você especificar.

column_mapping

Um OBJECT SQL que mapeia os campos de avaliação para nomes de colunas de origem. Inclua:

query_text: o nome da coluna que contém a consulta de entrada (VARCHAR).
ground_truth: o nome da coluna VARIANT que contém o JSON de ground truth (verdade fundamental) para cada linha.

As chaves nesse objeto correspondem às chaves column_mapping na seção dataset da especificação YAML da avaliação do agente.

Retornos¶

Uma mensagem de cadeia de caracteres que indica se o conjunto de dados foi criado com sucesso.

Requisitos de controle de acesso¶

Você precisa de permissões para criar um conjunto de dados de uma tabela de entrada, incluindo CREATE DATASET ON SCHEMA para o esquema em que o conjunto de dados é criado.

Exemplos¶

O exemplo a seguir cria o conjunto de dados MARKETING_CAMPAIGNS_DB.AGENTS.MARKETING_CAMPAIGN_EVALSET da tabela MARKETING_CAMPAIGNS_DB.AGENTS.EVALS_TABLE, usando INPUT_QUERY como a coluna de consulta e GROUND_TRUTH_DATA como a coluna de ground truth (verdade fundamental):

CALL SYSTEM$CREATE_EVALUATION_DATASET(
  'Cortex Agent',
  'MARKETING_CAMPAIGNS_DB.AGENTS.EVALS_TABLE',
  'MARKETING_CAMPAIGNS_DB.AGENTS.MARKETING_CAMPAIGN_EVALSET',
  OBJECT_CONSTRUCT(
    'query_text', 'INPUT_QUERY',
    'ground_truth', 'GROUND_TRUTH_DATA'
  )
);

Confirme se o conjunto de dados existe:

SHOW DATASETS IN SCHEMA MARKETING_CAMPAIGNS_DB.AGENTS;