더북(TheBook)

다섯 번째 에포크부터 조기 종료가 수행되고 있기 때문에 실제로 학습은 네 번째 에포크까지만 수행되었다고 할 수 있습니다(데이터셋은 랜덤으로 가져오기 때문에 결과가 책과 다를 수 있습니다). 명심해야 할 것은 조기 종료가 항상 성능에 좋은 영향을 미치는 것은 아닙니다. 조기 종료로 인해 모델이 제대로 학습하지 못할 수 있습니다. 실제로 검증 데이터셋에 대한 정확도 그래프가 위아래로 오가면서 불안정한 결과를 출력하고 있습니다. 그렇다고 학습을 계속 이어 간다고 해서 더 좋은 결과를 얻을 수 있다는 보장도 없습니다. 따라서 그래프가 의미하는 내용을 잘 이해하고 적절한 성능 향상 방안을 적용하는 것이 중요합니다. 앞에서 검증 데이터셋에 대한 정확도는 좋지 않지만, 오차는 많이 낮아진 것을 확인할 수 있습니다. 따라서 정확도만 보고 조기 종료가 효과가 없다고 판단하기에는 숲이 아닌 나무만 보고 판단한 결과와 같습니다.

분명한 것은 학습률 스케줄러를 이용한 학습률 조정 기법과 조기 종료가 모델 성능을 향상시키는 데는 도움이 된다는 것입니다(조기 종료의 경우에는 성능 향상보다는 자원(CPU/메모리)의 효율화라고 보는 것이 정확합니다). 단 모든 모델에 일괄적으로 적용하는 것이 아닌, 기존의 출력된 그래프를 해석해서 어떤 성능 기법을 적용할지 결정하는 것이 중요합니다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.