확률적 경사 하강법(Stochastic Gradient Descent, SGD)

'sgd'

tf.train.sgd

가장 간단한 옵티마이저로, 항상 학습률을 그레이디언트에 곱합니다.

모멘텀(Momentum)

'momentum'

tf.train.momentum

가중치 파라미터에 대한 지난 그레이디언트가 동일한 방향에 있을 때 가중치 파라미터 업데이트가 더 빨라지고 방향이 많이 변경될 때 느려지도록 지난 그레이디언트를 누적합니다.²¹

RMSProp

'rmsprop'

tf.train.rmsprop

가중치 그레이디언트의 제곱평균제곱근(root mean square, RMS)의 최근 이력을 추적하여 모델의 가중치 파라미터마다 곱셈 계수를 조정합니다. 여기에서 이름(RMS)이 유래되었습니다.

AdaDelta

'adadelta'

tf.train.adadelta

RPSProp과 비슷한 방식으로 개별 가중치 파라미터를 위한 학습률을 조정합니다.²²

ADAM

'adam'

tf.train.adam

AdaDelta의 적응적 학습률 방식과 모멘텀 방식을 조합한 것으로 이해할 수 있습니다.²³

AdaMax

'adamax'

tf.train.adamax

ADAM과 비슷하지만 조금 다른 알고리즘을 사용해 그레이디언트를 추적합니다.