◼︎ 모멘텀

모멘텀(momentum)이란 단어는 ‘관성, 탄력, 가속도’라는 뜻입니다. 모멘텀 확률적 경사 하강법(모멘텀 SGD)이란 말 그대로 경사 하강법에 탄력을 더해 주는 것입니다. 다시 말해 경사 하강법과 마찬가지로 매번 기울기를 구하지만, 이를 통해 오차를 수정하기 전 바로 앞 수정 값과 방향(+, -)을 참고해 같은 방향으로 일정한 비율만 수정되게 하는 방법입니다. 따라서 수정 방향이 양수(+) 방향으로 한 번, 음수(-) 방향으로 한 번 지그재그로 일어나는 현상이 줄어들고, 이전 이동 값을 고려해 일정 비율만큼 다음 값을 결정하므로 관성 효과를 낼 수 있습니다.

그림 9-8 | 모멘텀을 적용했을 때