AI의 2차 겨울 도래

다층 퍼셉트론과 역전파 알고리즘 도입에도 AI의 2차 겨울이 도래했고, 그 주요 원인은 기울기 소실(vanishing gradient)과 과적합(overfit)이었습니다. 신경망으로 복잡한 문제를 해결하려면 은닉층의 수를 늘려야 하지만, 은닉층의 수가 많아질수록 기울기 소실 문제가 나타났습니다.

기울기 소실은 딥러닝 학습 과정에서 역전파로 전달되는 기울기(gradient)가 입력층에 가까운 초기 층으로 갈수록 점차 작아지는 현상입니다. 이에 따라 초기 층의 가중치가 거의 업데이트되지 않아 학습이 제대로 진행되지 않았습니다.

▲ 그림 1-14 기울기 소실