Categorias:: Funções do monitor de modelos

MODEL_MONITOR_PERFORMANCE_METRIC¶

Obtém métricas de desempenho de um monitor de modelos. Cada monitor de modelo monitora um modelo de aprendizado de máquina.

Consulte também:: Consultar resultados de monitoramento para obter mais informações.

Sintaxe¶

MODEL_MONITOR_PERFORMANCE_METRIC(<model_monitor_name>, <performance_metric_name>,
    [, <granularity> [, <start_time>  [, <end_time> [, <extra_args> ] ] ] ] )

Copy

Argumentos¶

Obrigatório:

MODEL_MONITOR_NAME

Nome do monitor de modelo usado para calcular a métrica.

Valores válidos:

Uma cadeia de caracteres que é o nome do monitor de modelo. Pode ser um nome simples ou totalmente qualificado.

METRIC_NAME

Nome da métrica de desempenho.

Valores válidos se o monitor de modelo estiver anexado a um modelo de regressão:

'RMSE'

'MAE'

'MAPE'

'MSE'

Valores válidos se o monitor de modelo estiver anexado a um modelo de classificação binária:

'ROC_AUC'

'CLASSIFICATION_ACCURACY'

'PRECISION'

'RECALL'

'F1_SCORE'

Opcional:

GRANULARITY

Granularidade do intervalo de tempo que está sendo consultado. O valor padrão é 1 DAY.

Valores válidos:

'<num> DAY'

'<num> WEEK'

'<num> MONTH'

'<num> QUARTER'

'<num> YEAR'

'ALL'

NULL

START_TIME

Início do intervalo de tempo usado para calcular a métrica. O valor padrão é 60 dias antes da hora atual e é calculado sempre que você chama a função.

Valores válidos:

Uma expressão de carimbo de data/hora ou NULL.

END_TIME

Fim do intervalo de tempo usado para calcular a métrica. O valor padrão é a hora atual e é calculado sempre que você chama a função.

Valores válidos:

Uma expressão de carimbo de data/hora ou NULL.

EXTRA_ARGS

Argumentos adicionais para consultas específicas de segmento. Esse parâmetro é opcional; se não for fornecido, a consulta retornará métricas para todos os dados (consulta não segmentada).

Valores válidos: Uma cadeia de caracteres no formato JSON especificando pares de coluna e valor do segmento: '{"SEGMENTS": [{"column": "<segment_column_name>", "value": "<segment_value>"}]}'

Nota

Atualmente, as consultas de segmento aceitam apenas um par coluna:valor do segmento por consulta. Não é possível consultar vários segmentos simultaneamente em uma única chamada de função.

Para obter mais informações sobre segmentos, consulte ML Observability: monitoramento do comportamento do modelo ao longo do tempo.

Retornos¶

Coluna	Descrição	Exemplo de valores
`EVENT_TIMESTAMP`	Carimbo de data/hora no início do intervalo de tempo.	`2024-01-01 00:00:00.000`
`METRIC_VALUE`	Valor da métrica dentro do intervalo de tempo especificado.	`0.5`
`COUNT_USED`	Número de registros usados para calcular a métrica.	`100`
`COUNT_UNUSED`	Número de registros excluídos do cálculo da métrica.	`10`
`METRIC_NAME`	Nome da métrica que foi computada.	`ROC_AUC`
`SEGMENT_COLUMN`	Nome da coluna do segmento para a qual a métrica é calculada (ou NULL para consultas sem segmento).	`CUSTOMER_TIER`
`SEGMENT_VALUE`	Valor do segmento para o qual a métrica é calculada (ou NULL para consultas sem segmento).	`PREMIUM`

Notas de uso¶

Se o valor que você especificou para model_monitor_name diferencia maiúsculas e minúsculas ou contém caracteres ou espaços especiais, coloque-os entre aspas duplas. Você deve colocar as aspas duplas dentro de aspas simples. Por exemplo, '"<example_model_monitor_name>"'.

Se você não usar aspas duplas, o model_monitor_name presume-se que não diferencia maiúsculas e minúsculas.

Para minimizar o impacto potencial das alterações no esquema, atualize suas consultas para selecionar explicitamente apenas as colunas necessárias em vez de usar um curinga (*).

Requisitos gerais¶

O monitor de modelo deve estar associado a um modelo que suporte o tipo de métrica solicitado.
O monitor de modelo deve conter os dados necessários para cada tipo de métrica, conforme descrito abaixo.

Requisitos métricos¶

A seguir estão as colunas necessárias para obter métricas de regressão:

RMSE: exige as colunas prediction_score e actual_score
MAE: exige as colunas prediction_score e actual_score
MAPE: exige as colunas prediction_score e actual_score

A seguir estão as colunas exigidas para obter métricas de classificação binária:

ROC_AUC: exige as colunas prediction_score e actual_class
CLASSIFICATION_ACCURACY: exige as colunas prediction_class e actual_class
PRECISION: exige as colunas prediction_class e actual_class
RECALL: exige as colunas prediction_class e actual_class
F1_SCORE: exige as colunas prediction_class e actual_class

A seguir estão as colunas exigidas para obter métricas de classificação de várias classes:

CLASSIFICATION_ACCURACY: exige as colunas prediction_class e actual_class
MACRO_AVERAGE_PRECISION: exige as colunas prediction_class e actual_class
MACRO_AVERAGE_RECALL: exige as colunas prediction_class e actual_class
MICRO_AVERAGE_PRECISION: exige as colunas prediction_class e actual_class
MICRO_AVERAGE_RECALL: exige as colunas prediction_class e actual_class

Nota

Para a classificação binária, você pode usar as métricas de precisão e recuperação da micro-média de forma semelhante à que usa a precisão da classificação na classificação de várias classes.

Casos de erro¶

Você pode encontrar erros se fizer o seguinte:

Solicitar uma métrica de precisão sem definir a coluna de previsão ou real correspondente.
Não fornecer dados na coluna actual_score ou actual_class.

Exemplos¶

O exemplo a seguir obtém a raiz quadrada do erro-médio (RMSE) em um período de um dia do monitor do modelo.

SELECT * FROM TABLE(MODEL_MONITOR_PERFORMANCE_METRIC(
'MY_MONITOR', 'RMSE', '1 DAY', TO_TIMESTAMP_TZ('2024-01-01'), TO_TIMESTAMP_TZ('2024-01-02'))
)

Copy

O exemplo a seguir obtém a raiz quadrada do erro-médio (RMSE) nos últimos 30 dias do monitor do modelo:

SELECT * FROM TABLE(MODEL_MONITOR_PERFORMANCE_METRIC(
'MY_MONITOR', 'RMSE', '1 DAY', DATEADD('DAY', -30, CURRENT_DATE()), CURRENT_DATE())
)

Copy