이 밖에도 딥러닝의 학습을 더 빠르고 정확하게 만들기 위한 노력이 계속되었습니다. 지금은 정확도와 속도를 모두 향상시킨 아담(adam)이라는 고급 경사 하강법이 가장 많이 쓰이고 있습니다. 그림 9-9는 경사 하강법이 어떻게 해서 아담에 이르게 되었는지 보여 줍니다.

그림 9-9 | 딥러닝에 사용되는 고급 경사 하강법의 변천

이렇게 오차를 최소화하는 경사 하강법들을 딥러닝에서는 ‘옵티마이저’라고 한다고 했습니다(5장).