더북(TheBook)

 

2속도와 정확도 문제를 해결하는 고급 경사 하강법

 

가중치를 업데이트하는 방법으로 우리는 경사 하강법을 배웠습니다. 그런데 경사 하강법은 정확하게 가중치를 찾아가지만, 한 번 업데이트할 때마다 전체 데이터를 미분해야 하므로 계산량이 매우 많다는 단점이 있습니다. 이러한 점을 보완한 고급 경사 하강법이 등장하면서 딥러닝의 발전 속도는 더 빨라졌습니다.

 

확률적 경사 하강법(SGD)

경사 하강법의 불필요하게 많은 계산량은 속도를 느리게 할 뿐 아니라, 최적 해를 찾기 전에 최적화 과정이 멈출 수도 있습니다. 확률적 경사 하강법(Stochastic Gradient Descent, SGD)은 이러한 속도의 단점을 보완한 방법입니다. 전체 데이터를 사용하는 것이 아니라, 랜덤하게 추출한 일부 데이터를 사용합니다. 일부 데이터를 사용하므로 더 빨리 그리고 자주 업데이트를 하는 것이 가능해졌습니다.

그림 9-5는 경사 하강법과 확률적 경사 하강법의 차이를 보여 줍니다. 랜덤한 일부 데이터를 사용하는 만큼 확률적 경사 하강법은 중간 결과의 진폭이 크고 불안정해 보일 수도 있습니다. 하지만 속도가 확연히 빠르면서도 최적 해에 근사한 값을 찾아낸다는 장점 덕분에 경사 하강법의 대안으로 사용되고 있습니다.

 

117

그림 9-5 경사 하강법과 확률적 경사 하강법의 비교

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.