알엠에스프롭(RMSProp)

알엠에스프롭은 아다그라드의 G(i) 값이 무한히 커지는 것을 방지하고자 제안된 방법입니다.

아다그라드에서 학습이 안 되는 문제를 해결하기 위해 G 함수에서 γ(감마)만 추가되었습니다. 즉, G 값이 너무 크면 학습률이 작아져 학습이 안 될 수 있으므로 사용자가 γ 값을 이용하여 학습률 크기를 비율로 조정할 수 있도록 했습니다.

예를 들어 텐서플로 2에서는 알엠에스프롭을 다음과 같이 구현할 수 있습니다.

from tensorflow.keras.optimizers import RMSprop
optimize = model.compile(loss='categorical_crossentropy',
                         optimizer=RMSprop(lr=0.001),
                         metrics=['accuracy'])