- Categorias:
MODEL_MONITOR_PERFORMANCE_METRIC¶
Obtém métricas de desempenho de um monitor de modelos. Cada monitor de modelo monitora um modelo de aprendizado de máquina.
- Consulte também:
Consultar resultados de monitoramento para obter mais informações.
Sintaxe¶
MODEL_MONITOR_PERFORMANCE_METRIC(<model_monitor_name>, <performance_metric_name>,
[, <granularity> [, <start_time> [, <end_time> ] ] ] )
Argumentos¶
Obrigatório:
MODEL_MONITOR_NAME
Nome do monitor de modelo usado para calcular a métrica.
Valores válidos:
Uma cadeia de caracteres que é o nome do monitor de modelo. Pode ser um nome simples ou totalmente qualificado.
METRIC_NAME
Nome da métrica de desempenho.
Valores válidos se o monitor de modelo estiver anexado a um modelo de regressão:
'RMSE'
'MAE'
'MAPE'
'MSE'
Valores válidos se o monitor de modelo estiver anexado a um modelo de classificação binária:
'ROC_AUC'
'CLASSIFICATION_ACCURACY'
'PRECISION'
'RECALL'
'F1_SCORE'
Opcional:
GRANULARITY
Granularidade do intervalo de tempo que está sendo consultado. O valor padrão é
1 DAY
.Valores válidos:
'<num> DAY'
'<num> WEEK'
'<num> MONTH'
'<num> QUARTER'
'<num> YEAR'
'ALL'
NULL
START_TIME
Início do intervalo de tempo usado para calcular a métrica. O valor padrão é 60 dias antes da hora atual e é calculado sempre que você chama a função.
Valores válidos:
Uma expressão de carimbo de data/hora ou
NULL
.END_TIME
Fim do intervalo de tempo usado para calcular a métrica. O valor padrão é a hora atual e é calculado sempre que você chama a função.
Valores válidos:
Uma expressão de carimbo de data/hora ou
NULL
.
Retornos¶
Coluna |
Descrição |
Exemplo de valores |
---|---|---|
|
Carimbo de data/hora no início do intervalo de tempo. |
|
|
Valor da métrica dentro do intervalo de tempo especificado. |
|
|
Número de registros usados para calcular a métrica. |
|
|
Número de registros excluídos do cálculo da métrica. |
|
|
Nome da métrica que foi computada. |
|
Notas de uso¶
Requisitos gerais¶
O monitor de modelo deve estar associado a um modelo que suporte o tipo de métrica solicitado.
O monitor de modelo deve conter os dados necessários para cada tipo de métrica, conforme descrito abaixo.
Requisitos métricos¶
A seguir estão as colunas necessárias para obter métricas de regressão:
RMSE: exige as colunas
prediction_score
eactual_score
MAE: exige as colunas
prediction_score
eactual_score
MAPE: exige as colunas
prediction_score
eactual_score
A seguir estão as colunas exigidas para obter métricas de classificação binária:
ROC_AUC: exige as colunas
prediction_score
eactual_class
CLASSIFICATION_ACCURACY: exige as colunas
prediction_class
eactual_class
PRECISION: exige as colunas
prediction_class
eactual_class
RECALL: exige as colunas
prediction_class
eactual_class
F1_SCORE: exige as colunas
prediction_class
eactual_class
A seguir estão as colunas exigidas para obter métricas de classificação de várias classes:
CLASSIFICATION_ACCURACY: exige as colunas
prediction_class
eactual_class
MACRO_AVERAGE_PRECISION: exige as colunas
prediction_class
eactual_class
MACRO_AVERAGE_RECALL: exige as colunas
prediction_class
eactual_class
MICRO_AVERAGE_PRECISION: exige as colunas
prediction_class
eactual_class
MICRO_AVERAGE_RECALL: exige as colunas
prediction_class
eactual_class
Nota
Para a classificação binária, você pode usar as métricas de precisão e recuperação da micro-média de forma semelhante à que usa a precisão da classificação na classificação de várias classes.
Casos de erro¶
Você pode encontrar erros se fizer o seguinte:
Solicitar uma métrica de precisão sem definir a coluna de previsão ou real correspondente.
Não fornecer dados na coluna
actual_score
ouactual_class
.
Exemplos¶
O exemplo a seguir obtém a raiz quadrada do erro-médio (RMSE) em um período de um dia do monitor do modelo.
SELECT * FROM TABLE(MODEL_MONITOR_PERFORMANCE_METRIC(
'MY_MONITOR', 'RMSE', '1 DAY', TO_TIMESTAMP_TZ('2024-01-01'), TO_TIMESTAMP_TZ('2024-01-02'))
)
O exemplo a seguir obtém a raiz quadrada do erro-médio (RMSE) nos últimos 30 dias do monitor do modelo:
SELECT * FROM TABLE(MODEL_MONITOR_PERFORMANCE_METRIC(
'MY_MONITOR', 'RMSE', '1 DAY', DATEADD('DAY', -30, CURRENT_DATE()), CURRENT_DATE())
)