8.3.3 조기 종료를 이용한 성능 최적화

조기 종료(early stopping)는 뉴럴 네트워크가 과적합을 회피하는 규제 기법입니다. 훈련 데이터와 별도로 검증 데이터를 준비하고, 매 에포크마다 검증 데이터에 대한 오차(validation loss)를 측정하여 모델의 종료 시점을 제어합니다. 즉, 과적합이 발생하기 전까지 학습에 대한 오차(training loss)와 검증에 대한 오차 모두 감소하지만, 과적합이 발생하면 훈련 데이터셋에 대한 오차는 감소하는 반면 검증 데이터셋에 대한 오차는 증가합니다. 따라서 조기 종료는 검증 데이터셋에 대한 오차가 증가하는 시점에서 학습을 멈추도록 조정합니다.

▲ 그림 8-50 조기 종료

조기 종료는 학습을 언제 종료시킬지 결정할 뿐이지 최고의 성능을 갖는 모델을 보장하지는 않는다는 점에 주의해야 합니다. 이번 예제는 조기 종료뿐만 아니라 학습률(learning rate)을 조정해서 성능을 향상시키는 방법에 대해서도 함께 알아봅니다.