3.3.5 규제를 사용하여 과대적합 피하기

과대적합(overfitting)은 머신 러닝에서 자주 발생하는 문제입니다. 모델이 훈련 데이터로는 잘 동작하지만 본 적 없는 데이터(테스트 데이터)로는 잘 일반화되지 않는 현상입니다. 모델이 과대적합일 때 분산이 크다고 말합니다. 모델 파라미터가 너무 많아 주어진 데이터에서 너무 복잡한 모델을 만들기 때문입니다. 비슷하게 모델이 과소적합(underfitting)일 때도 있습니다(편향이 큽니다). 훈련 데이터에 있는 패턴을 감지할 정도로 충분히 모델이 복잡하지 않다는 것을 의미합니다. 이 때문에 새로운 데이터에서도 성능이 낮을 것입니다.

지금까지 분류를 위한 선형 모델만 보았지만 과대적합과 과소적합 문제는 그림 3-8과 같이 선형 결정 경계와 복잡한 비선형 결정 경계를 비교해서 설명하는 것이 좋습니다.

▲ 그림 3-8 과대적합과 과소적합된 모델의 예