• 속도와 운동량에 대한 혼용 방법

아담(Adam, Adaptive Moment Estimation)

아담은 모멘텀과 알엠에스프롭의 장점을 결합한 경사 하강법입니다. 알엠에스프롭 특징인 기울기의 제곱을 지수 평균한 값과 모멘텀 특징인 v(i)를 수식에 활용합니다. 즉, 알엠에스프롭의 G 함수와 모멘텀의 v(i)를 사용하여 가중치를 업데이트합니다.

예를 들어 파이토치에서는 다음과 같이 아담을 구현할 수 있습니다.

optimizer = torch.optim.Adam(model.parameters(), lr=0.01) ------ 학습률 기본값은 1e-3