카테고리:: 모델 모니터 함수

MODEL_MONITOR_PERFORMANCE_METRIC¶

모델 모니터 에서 성능 메트릭을 가져옵니다. 각 모델 모니터는 하나의 머신 러닝 모델을 모니터링합니다.

참고 항목:: 모니터링 결과 쿼리하기 에서 자세한 내용을 확인하십시오.

구문¶

MODEL_MONITOR_PERFORMANCE_METRIC(<model_monitor_name>, <performance_metric_name>,
    [, <granularity> [, <start_time>  [, <end_time> ] ] ] )

Copy

인자¶

필수:

MODEL_MONITOR_NAME

메트릭을 계산하는 데 사용된 모델 모니터의 이름입니다.

유효한 값:

모델 모니터의 이름인 문자열입니다. 단순 또는 정규화된 이름일 수 있습니다.

METRIC_NAME

성능 메트릭의 이름입니다.

모델 모니터가 회귀 모델에 연결된 경우 유효한 값입니다.

'RMSE'

'MAE'

'MAPE'

'MSE'

모델 모니터가 이진 분류 모델에 연결된 경우 유효한 값입니다.

'ROC_AUC'

'CLASSIFICATION_ACCURACY'

'PRECISION'

'RECALL'

'F1_SCORE'

선택 사항:

GRANULARITY

쿼리하는 시간 범위의 세분성. 기본값은 1 DAY 입니다.

유효한 값:

'<숫자> DAY'

'<숫자> WEEK'

'<숫자> MONTH'

'<숫자> QUARTER'

'<숫자> YEAR'

'ALL'

NULL

START_TIME

메트릭을 계산하는 데 사용되는 시간 범위의 시작입니다. 기본값은 현재 시간으로부터 60일 전이며 함수를 호출할 때마다 계산됩니다.

유효한 값:

타임스탬프 식 또는 NULL 입니다.

END_TIME

메트릭을 계산하는 데 사용되는 시간 범위의 끝입니다. 기본값은 현재 시간이며 함수를 호출할 때마다 계산됩니다.

유효한 값:

타임스탬프 식 또는 NULL 입니다.

반환¶

열	설명	예제 값
`EVENT_TIMESTAMP`	시간 범위가 시작될 때의 타임스탬프입니다.	`2024-01-01 00:00:00.000`
`METRIC_VALUE`	지정된 시간 범위 내의 메트릭 값입니다.	`0.5`
`COUNT_USED`	메트릭을 계산하는 데 사용된 레코드의 수입니다.	`100`
`COUNT_UNUSED`	메트릭 계산에서 제외된 레코드의 수입니다.	`10`
`METRIC_NAME`	계산된 메트릭의 이름입니다.	`ROC_AUC`

사용법 노트¶

일반적인 요구 사항¶

모델 모니터는 요청된 메트릭 유형을 지원하는 모델과 연결되어 있어야 합니다.
모델 모니터에는 아래에 설명된 대로 각 메트릭 유형에 필요한 데이터가 포함되어야 합니다.

메트릭 요구 사항¶

다음은 회귀 메트릭을 가져오기 위해 필요한 열입니다.

RMSE: prediction_score 및 actual_score 열이 필요합니다.
MAE: prediction_score 및 actual_score 열이 필요합니다.
MAPE: prediction_score 및 actual_score 열이 필요합니다.

다음은 이진 분류 메트릭을 가져오기 위해 필요한 열입니다.

ROC_AUC: prediction_score 및 actual_class 열이 필요합니다.
CLASSIFICATION_ACCURACY: prediction_class 및 actual_class 열이 필요합니다.
PRECISION: prediction_class 및 actual_class 열이 필요합니다.
RECALL: prediction_class 및 actual_class 열이 필요합니다.
F1_SCORE: prediction_class 및 actual_class 열이 필요합니다.

다음은 다중 클래스 분류 메트릭을 가져오기 위해 필요한 열입니다.

CLASSIFICATION_ACCURACY: prediction_class 및 actual_class 열이 필요합니다.
MACRO_AVERAGE_PRECISION: prediction_class 및 actual_class 열이 필요합니다.
MACRO_AVERAGE_RECALL: prediction_class 및 actual_class 열이 필요합니다.
MICRO_AVERAGE_PRECISION: prediction_class 및 actual_class 열이 필요합니다.
MICRO_AVERAGE_RECALL: prediction_class 및 actual_class 열이 필요합니다.

참고

이진 분류의 경우, 다중 클래스 분류에서 분류 정확도를 사용하는 방식과 유사하게 마이크로 평균 전체 자릿수 및 리콜 메트릭을 사용할 수 있습니다.

오류 사례¶

다음과 같은 경우 오류가 발생할 수 있습니다.

해당 예측 또는 실제 열을 설정하지 않고 정확도 메트릭을 요청합니다.
actual_score 또는 actual_class 열에 데이터를 제공하지 못했습니다.

예¶

다음은 모델 모니터에서 1일 기간 동안의 평균 제곱근 오차(RMSE)를 가져오는 예입니다.

SELECT * FROM TABLE(MODEL_MONITOR_PERFORMANCE_METRIC(
'MY_MONITOR', 'RMSE', '1 DAY', TO_TIMESTAMP_TZ('2024-01-01'), TO_TIMESTAMP_TZ('2024-01-02'))
)

Copy

다음은 모델 모니터에서 지난 30일 동안의 평균 제곱근 오차(RMSE)를 가져오는 예입니다.

SELECT * FROM TABLE(MODEL_MONITOR_PERFORMANCE_METRIC(
'MY_MONITOR', 'RMSE', '1 DAY', DATEADD('DAY', -30, CURRENT_DATE()), CURRENT_DATE())
)

Copy