이 밖에도 딥러닝의 학습을 더 빠르고 정확하게 만들기 위한 노력이 계속되었습니다. 지금은 정확도와 속도를 모두 향상시킨 아담(adam)이라는 고급 경사 하강법이 가장 많이 쓰이고 있습니다. 그림 9-9는 경사 하강법이 어떻게 해서 아담에 이르게 되었는지 보여 줍니다.

그림 9-9 | 딥러닝에 사용되는 고급 경사 하강법의 변천

이렇게 오차를 최소화하는 경사 하강법들을 딥러닝에서는 ‘옵티마이저’라고 한다고 했습니다(5장). 앞에 소개한 고급 경사 하강법들은 텐서플로에 포함되어 있는 optimizers라는 객체에 이름을 적어 주는 것만으로 손쉽게 실행할 수 있습니다. 또 앞 절에서 소개된 시그모이드, 렐루 등 활성화 함수도 activation이라는 객체에 이름을 적어 주는 것으로 손쉽게 실행할 수 있습니다. 이어지는 장에서 이러한 부분을 실습해 보겠습니다.

이렇게 해서 4장부터 9장까지, 텐서플로에서 사용되는 대부분의 개념과 용어를 상세히 배웠습니다. 드디어 텐서플로를 이용한 모델링을 할 준비가 되었습니다.