3 속도와 정확도 문제를 해결하는 고급 경사 하강법

우리는 가중치를 업데이트하는 방법으로 경사 하강법을 배웠습니다. 그런데 경사 하강법은 정확하게 가중치를 찾아가지만, 계산량이 매우 많다는 단점이 있습니다. 이러한 점을 보완한 고급 경사 하강법이 등장하면서 딥러닝의 발전 속도는 더 빨라졌습니다.

◼︎ 확률적 경사 하강법

경사 하강법은 한 번 업데이트할 때마다 전체 데이터를 미분하므로 속도가 느릴 뿐 아니라, 최적 해를 찾기 전에 최적화 과정이 멈출 수도 있습니다. 확률적 경사 하강법(Stochastic Gradient Descent, SGD)은 경사 하강법의 이러한 단점을 보완한 방법입니다.

전체 데이터를 사용하는 것이 아니라, 랜덤하게 추출한 일부 데이터만 사용하기 때문에 빠르고 더 자주 업데이트할 수 있다는 장점이 있습니다.

그림 9-7은 경사 하강법과 확률적 경사 하강법의 차이를 보여 줍니다. 랜덤한 일부 데이터를 사용하는 만큼 확률적 경사 하강법은 중간 결과의 진폭이 크고 불안정해 보일 수도 있습니다. 하지만 속도가 확연히 빠르면서도 최적 해에 근사한 값을 찾아낸다는 장점 덕분에 경사 하강법의 대안으로 사용되고 있습니다.

그림 9-7 | 경사 하강법과 확률적 경사 하강법의 비교