Chapter1) 9. Object Detection 성능 평가지표 mAP
mAP(mean Average Precision) : 실제 object 가 detected 된 재현율의 변화에 따른 정밀도의 값을 평균한 성능 수치
필요한 것들 : IoU, Precision-Recall Curve, Average Precision, Confidence threshold
정밀도(Precision) 과 재현율(Recall)
- 정밀도 : 예측을 Positive 로 한 대상 중에 예측과 실제 값이 Positive 로 일치한 데이터의 비율 = TP / (FP + TP)
(Object Detection 에서는 검출 알고리즘이 검출 예측한 결과가 실제 Object들과 얼마나 일치하는지를 나타내는 지표)
- 재현율 : 실제 값이 Positive 인 대상 중에 예측과 실제 값이 Positive로 일치한 데이터의 비율 = TP / (FN + TP)
(Object Detection 에서는 검출 알고리즘이 실제 Object들을 빠뜨리지 않고 얼마나 정확히 검출 예측하는지를 나타내는 지표)
오차 행렬(Confusion Matrix)
오차 행렬은 이진 분류의 예측 오류가 얼마인지와 더불어 어떠한 유형의 예측 오류가 발생하고 있는지를 함께 나타내는 지표
목적하는 영역에 따라 재현율과 정밀도의 중요도가 달라질 수 있다.
재현율이 상대적으로 더 중요한 경우는 실제 Positive 양성인 데이터 예측을 Negative 로 잘못 판단하게 되면 업무상 큰 영향이 발생하는 경우 : 암 진단, 금융사기 판별
정밀도가 상대적으로 더 중요한 경우는 실제 Negative 음성인 데이터 예측을 Positive 로 잘못 판단하게 되면 업무상 큰 영향이 발생하는 경우 : 스팸메일
* 정밀도를 높이고 싶다면, FP 를 낮추는 것이 좋고 재현율을 높이고 싶다면, FN 을 낮추는 것이 좋다.
대개 IoU 의 값에 따라 Detection 예측의 성공을 결정하고 있는데,
IoU 의 기준은 대회나 특정 목적에 따라 다를 수 있다.
예를 들어 PASCAL VOC Challenge 에서 사용된 기준을 적용하여 IoU 가 0.5 이상이면 예측을 성공으로 인정한다.
(COCO Challenge 에서는 여러 개의 IoU 기준을 변경해 가면서 예측 성공을 적용)
Confidence 임곗값에 따라 정밀도 - 재현율 변화
Confidence Threshold 가 낮을 수록 더 많은 예측 bounding box 를 만들게 되어 정밀도는 낮아지고 재현율이 높아진다.
Confidence Threshold 가 높을 수록 더 적은 예측 bounding box 를 만들게 되어 정밀도는 높아지고 재현율은 낮아진다. (적다를 신중하다로 생각할 수 있다.)
AP(Average Precision) 계산하기
이와 같이 기록된 값을 그대로 좌표로 반환하고 동일 수준의 Precision 을 갖는 경우 오른쪽의 최대 값을 연결하여 그은 선을 기준으로 넓이를 구한다.
mAP(mean Average Precision)
- AP 는 한 개 오브젝트에 대한 성능 수치
- mAP 는 여러 오브젝트들의 AP를 평균한 값