성능이 나빠지는 문제 발생

경사 하강법은 손실 함수의 비용이 최소가 되는 지점을 찾을 때까지 기울기가 낮은 쪽으로 계속 이동시키는 과정을 반복하는데, 이때 성능이 나빠지는 문제가 발생합니다.

▲ 그림 4-17 경사 하강법

이러한 문제점을 개선하고자 확률적 경사 하강법과 미니 배치 경사 하강법을 사용합니다. 경사 하강법을 좀 더 알아보겠습니다.

▲ 그림 4-18 경사 하강법의 유형