Categorias:

Funções do monitor de modelos

MODEL_MONITOR_PERFORMANCE_METRIC

Obtém métricas de desempenho de um monitor de modelos. Cada monitor de modelo monitora um modelo de aprendizado de máquina.

Consulte também:

Consultar resultados de monitoramento para obter mais informações.

Sintaxe

MODEL_MONITOR_PERFORMANCE_METRIC(<model_monitor_name>, <performance_metric_name>,
    [, <granularity> [, <start_time>  [, <end_time> ] ] ] )
Copy

Argumentos

Obrigatório:

MODEL_MONITOR_NAME

Nome do monitor de modelo usado para calcular a métrica.

Valores válidos:

Uma cadeia de caracteres que é o nome do monitor de modelo. Pode ser um nome simples ou totalmente qualificado.

METRIC_NAME

Nome da métrica de desempenho.

Valores válidos se o monitor de modelo estiver anexado a um modelo de regressão:

  • 'RMSE'

  • 'MAE'

  • 'MAPE'

  • 'MSE'

Valores válidos se o monitor de modelo estiver anexado a um modelo de classificação binária:

  • 'ROC_AUC'

  • 'CLASSIFICATION_ACCURACY'

  • 'PRECISION'

  • 'RECALL'

  • 'F1_SCORE'

Opcional:

GRANULARITY

Granularidade do intervalo de tempo que está sendo consultado. O valor padrão é 1 DAY.

Valores válidos:

  • '<num> DAY'

  • '<num> WEEK'

  • '<num> MONTH'

  • '<num> QUARTER'

  • '<num> YEAR'

  • 'ALL'

  • NULL

START_TIME

Início do intervalo de tempo usado para calcular a métrica. O valor padrão é 60 dias antes da hora atual e é calculado sempre que você chama a função.

Valores válidos:

Uma expressão de carimbo de data/hora ou NULL.

END_TIME

Fim do intervalo de tempo usado para calcular a métrica. O valor padrão é a hora atual e é calculado sempre que você chama a função.

Valores válidos:

Uma expressão de carimbo de data/hora ou NULL.

Retornos

Coluna

Descrição

Exemplo de valores

EVENT_TIMESTAMP

Carimbo de data/hora no início do intervalo de tempo.

2024-01-01 00:00:00.000

METRIC_VALUE

Valor da métrica dentro do intervalo de tempo especificado.

0.5

COUNT_USED

Número de registros usados para calcular a métrica.

100

COUNT_UNUSED

Número de registros excluídos do cálculo da métrica.

10

METRIC_NAME

Nome da métrica que foi computada.

ROC_AUC

Notas de uso

Requisitos gerais

  • O monitor de modelo deve estar associado a um modelo que suporte o tipo de métrica solicitado.

  • O monitor de modelo deve conter os dados necessários para cada tipo de métrica, conforme descrito abaixo.

Requisitos métricos

A seguir estão as colunas necessárias para obter métricas de regressão:

  • RMSE: exige as colunas prediction_score e actual_score

  • MAE: exige as colunas prediction_score e actual_score

  • MAPE: exige as colunas prediction_score e actual_score

A seguir estão as colunas exigidas para obter métricas de classificação binária:

  • ROC_AUC: exige as colunas prediction_score e actual_class

  • CLASSIFICATION_ACCURACY: exige as colunas prediction_class e actual_class

  • PRECISION: exige as colunas prediction_class e actual_class

  • RECALL: exige as colunas prediction_class e actual_class

  • F1_SCORE: exige as colunas prediction_class e actual_class

A seguir estão as colunas exigidas para obter métricas de classificação de várias classes:

  • CLASSIFICATION_ACCURACY: exige as colunas prediction_class e actual_class

  • MACRO_AVERAGE_PRECISION: exige as colunas prediction_class e actual_class

  • MACRO_AVERAGE_RECALL: exige as colunas prediction_class e actual_class

  • MICRO_AVERAGE_PRECISION: exige as colunas prediction_class e actual_class

  • MICRO_AVERAGE_RECALL: exige as colunas prediction_class e actual_class

Nota

Para a classificação binária, você pode usar as métricas de precisão e recuperação da micro-média de forma semelhante à que usa a precisão da classificação na classificação de várias classes.

Casos de erro

Você pode encontrar erros se fizer o seguinte:

  • Solicitar uma métrica de precisão sem definir a coluna de previsão ou real correspondente.

  • Não fornecer dados na coluna actual_score ou actual_class.

Exemplos

O exemplo a seguir obtém a raiz quadrada do erro-médio (RMSE) em um período de um dia do monitor do modelo.

SELECT * FROM TABLE(MODEL_MONITOR_PERFORMANCE_METRIC(
'MY_MONITOR', 'RMSE', '1 DAY', TO_TIMESTAMP_TZ('2024-01-01'), TO_TIMESTAMP_TZ('2024-01-02'))
)
Copy

O exemplo a seguir obtém a raiz quadrada do erro-médio (RMSE) nos últimos 30 dias do monitor do modelo:

SELECT * FROM TABLE(MODEL_MONITOR_PERFORMANCE_METRIC(
'MY_MONITOR', 'RMSE', '1 DAY', DATEADD('DAY', -30, CURRENT_DATE()), CURRENT_DATE())
)
Copy