더북(TheBook)

Q | 과대적합을 완화하기 위해 데이터셋 기반의 여러 기법을 사용하여 지도 학습 방식으로 신경망 분류기를 훈련하고 있습니다. 과대적합의 영향을 더 줄이기 위해 모델이나 훈련 과정을 어떻게 바꿀 수 있을까요?

성공적인 과대적합 완화 전략은 드롭아웃(dropout)과 가중치 감쇠(weight decay) 같은 규제(regularization) 기법입니다. 경험적으로 봤을 때 파라미터가 많은 모델이 잘 일반화되려면 데이터가 많이 필요합니다. 따라서 모델 크기와 용량을 늘리면 이따금 과대적합을 줄이는 데 도움이 될 수 있습니다. 마지막으로 앙상블 모델(ensemble model) 구축은 과대적합과 싸우는 가장 효과적인 방법이지만 계산 비용이 증가합니다.

이 장은 모델을 변경하여 과대적합을 줄이는 몇 가지 핵심 아이디어와 기법을 소개하고 각각을 비교합니다. 이전 장에서 언급한 방법을 포함하여 과대적합 감소 방법 중에서 어떤 것을 선택해야 하는지에 대해서도 논의하겠습니다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.