정리/평가지표

[평가지표] Symmetric Mean Absolute Percentage Error (SMAPE)

컴공돌이​ 2022. 6. 8. 12:53

Symmetric Mean Absolute Percentage Error (SMAPE) 설명

Symmetric Mean Absolute Percentage Error (SMAPE)는 회귀 모델 (Regression Model)이 잘 학습되었는지를 확인할 때 사용하는 평가지표입니다.

SMAPE는 Mean Absolute Percentage Error (MAPE)가 가진 한계점을 보완하기 위하여 고안된 평가지표이며, MAPE는 오차를 실제값으로 나누는 반면 SMAPE는 실제 값과 예측값의 평균으로 나누어 구합니다.

SMAPE도 확률 값을 도출하지만 MAPE와는 다르게 최대 200%까지 값이 도출될 수 있습니다.

따라서, 일반적인 SMAPE 수식에 2를 나누어준 후 사용하기도 합니다.

SMAPE는 MAPE와 동일하게 값이 작을수록 모델의 성능이 좋다는 것을 의미합니다.

 

※ MAPE에 대한 설명은 아래 링크에서 확인할 수 있습니다.

2022.05.12 - [정리/평가지표] - [평가 지표] Mean Absolute Percentage Error (MAPE)

 

SMAPE의 수식은 아래와 같습니다.

 

 

수식에서 $Y_{i}$은 실제 정답 값을 의미하고, $\widehat{Y}_{i}$은 예측 값을 의미합니다.

 

 

SMAPE의 장단점

- SMAPE의 장점

1. 0~200% 사이의 확률 값을 가지기 때문에 결과 해석이 용이함
2. 데이터 값의 크기와 관련된 것이 아닌 비율과 관련된 값을 가지기 때문에 다양한 모델, 데이터의 성능 비교에 용이함
3. MAPE와는 다르게 실제 정답 값에 0이 존재해도 계산이 가능함

 

- SMAPE의 단점

1. 실제 정답 값과 예측 값이 모두 0일 경우 SMAPE 계산이 불가능 함
2. 예측 값이 실제 정답 값보다 작을 때 분모가 더 작아지기 때문에 계산되는 오차가 커지는 현상이 발생함

3. 실제 정답 값 또는 예측 값이 0인 경우 자동적으로 SMAPE값의 크기가 최대로 도출됨

 

 

SMAPE 코드

- SMAPE 사용자 정의 함수

반응형