1.5.1 정확도

학습 시스템을 평가하는 주요 관점은 ‘모델 예측이 얼마나 정확한가’입니다. 모델 정확도가 별로 중요하지 않다면 동전을 던지거나 룰렛을 돌리거나 난수 생성기로 결과를 뽑으면 그만일 것입니다. 시간과 노력을 들여 만든 모델이 무작위 추측보다는 좋은 성능을 기록해야 할 것입니다. 따라서 우리는 (1) 학습 모델의 성능을 정량화해야 하고 (2) 다른 학습 시스템과 그 성능을 비교할 수 있어야 합니다. 비교 대상이 되는 시스템에는 무작위 추측 모델을 포함하기도 합니다. 여기에는 그럴 만한 이유가 있습니다. 우리가 만든 모델의 성능이 무작위 추측 모델의 성능보다 떨어진다면 모든 것을 원점에서 다시 검토해야 합니다.

정확도를 평가하는 것은 놀랍게도 상당히 민감한 주제입니다. 이 주제를 심도 있게 살펴볼 것입니다. 일단은 정확도 측정이 어려운 두 가지 고전적인 사례를 먼저 알아보겠습니다. 상당수 질병은 다행스럽게도 흔하지 않습니다. 그렇기 때문에 의사가 거리로 나가서 보는 사람마다 “저 사람은 그 희귀한 질병에 걸리지 않았군.”이라고 판단해도 높은 정확도를 기록할 수 있습니다. 이 시나리오는 의료 진료의 정확도를 평가할 때 고려해야 할 네 가지 사항을 보여 줍니다.

1. 이 질병이 얼마나 흔한가요? 병에 걸릴 확률은 기본적으로 얼마인가요?

2. 환자를 정상으로 잘못 분류했을 때 비용은 얼마나 큰가요? 환자가 치료받지 못해 병세가 크게 악화되면 어떻게 되나요?

3. 정상인 사람을 환자로 잘못 분류했을 때 비용은 얼마나 큰가요? 추가적인 테스트가 비용이 비싸고 몸에 무리를 준다면, 불안 증세가 심한 사람들에게는 매우 좋지 않은 영향을 줄 수도 있습니다.

4. 의사들은 보통 증세를 보여 병원을 찾는 사람들을 진료합니다. 이들은 거리에 지나다니는 사람들과는 확연히 다릅니다.