• 속도와 운동량에 대한 혼용 방법

아담(Adam, Adaptive Moment Estimation)

아담은 모멘텀과 알엠에스프롭의 장점을 결합한 경사 하강법입니다. 알엠에스프롭 특징인 기울기의 제곱을 지수 평균한 값과 모멘텀 특징인 v(i)를 수식에 활용합니다. 즉, 알엠에스프롭의 G 함수와 모멘텀의 v(i)를 사용하여 가중치를 업데이트합니다.

예를 들어 텐서플로 2에서는 다음과 같이 아담을 구현할 수 있습니다.

from tensorflow.keras.optimizers import Adam
model.compile(loss='categorical_crossentropy', optimizer=Adam(lr=0.0001),
              metrics=['accuracy'])