피싱 예제의 가상 결과에서 네 개의 피싱 웹 페이지를 올바르게 식별했고, 두 개를 놓쳤으며, 한 개를 양성으로 잘못 분류했습니다. 이런 성능을 표현하기 위한 여러 가지 측정 방법을 알아보겠습니다.

정확도(accuracy)는 가장 간단한 지표입니다. 샘플 중 몇 퍼센트가 올바르게 분류되었는지 정량화합니다.

정확도 = (#TP + #TN) / #샘플 = (#TP + #TN) / (#TP + #TN + #FP + #FN)

앞의 오차 행렬의 정확도는 다음과 같습니다.

정확도 = (4 + 93) / 100 = 97%

정확도는 이해하고 전달하기 쉬운 개념입니다. 하지만 양성 샘플과 음성 샘플이 동일한 양을 가지고 있지 않은 이진 분류 문제에서 종종 오해를 일으킬 수 있습니다. 음성 샘플보다 양성 샘플이 훨씬 적은 상황이 종종 발생합니다(예를 들어 대부분의 링크가 피싱이 아니거나 대부분의 부품에 결함이 없는 경우 등입니다). 100개의 링크 중에 다섯 개만 피싱이라면 네트워크가 항상 거짓으로 예측하고 95% 정확도를 달성할 수 있습니다! 이렇게 보면 정확도는 이런 문제에 매우 나쁜 척도인 것 같습니다. 높은 정확도는 항상 좋게 보이지만 종종 오해를 일으킬 수 있습니다. 모니터링하기는 좋지만 손실 함수로 사용하기에는 매우 나쁩니다.