7.4.8 모델 평가
모델의 성능을 평가하려면 데이터를 학습 세트와 평가 세트로 분리하고, 학습 세트로 모델을 만들고, 평가 세트로 그 모델의 정확도를 확인하는 절차를 거친다. 오차행렬(confusion matrix)은 실제 검증용으로 따로 떼어놓은 검증용 데이터셋 y_test와 앞서 구한 예측값을 비교해 모델의 성능을 표시하는 데 사용된다. metrics.classification_report는 precision, recall, f1-score, support와 같은 성능지표 보고서를 만들어준다.
예측과 실제를 긍정과 부정으로 나누고 실제 결과와 예측 결과가 얼마나 부합하는지를 다음과 같이 전개해볼 수 있다.
▼ 표 7-1 실제 결과와 예측 결과
|
예측 |
|||
|
|
|
Positive |
Negative |
|
실제 |
Positive |
True Positive |
False Negative |
|
Negative |
False Positive |
True Negative |
|
True Positive는 실제로 Positive인데 Positive라고 예측한 경우다. True Negative는 실제로 Negative인데 Negative라고 예측한 경우다. 그러나 False Positive처럼 실제로 Negative인데 Positive라고 예측한 경우가 있을 수 있다. 이를 1종 오류(Type I error)라고 한다. 또 False Negative는 실제로 Positive인 정답을 Negative라고 예측한 것이다. 이를 2종 오류(Type II error)라고 한다.
1종 오류(False Positive)의 예로는 죄가 없는 사람에게 유죄 판결을 내린 경우, 스팸이 아닌 메일이 스팸박스로 보내진 경우 등이 있다. 2종 오류(False Negative)의 예로는 암 환자를 건강(음성)하다고 판별하는 경우가 있으며, 이는 치료 시기를 놓치게 하므로 매우 치명적이다.