더북(TheBook)

 

5알엠에스프롭

 

알엠에스프롭(Rmsprop)은 아다그라드의 G(t) 값이 무한히 커지는 것을 방지하고자 제안된 방법으로, 논문과 같은 형태로 발표된 다른 방법들과 달리 딥러닝의 대가인 제프리 힌튼 교수와 제자들이 코세라(Coursera) 수업에서 소개하였습니다. 이 방법은 한마디로 이동 지수의 평균을 이용한 방법입니다. 그 내용은 다음 식과 같은데, 여기서 계수가 이전 값과 수정 값 사이의 적용 비율을 조절해 줍니다. 따라서 이전 기울기의 영향을 억제하는 효과를 보이며, 아다그라드의 G(t) 값에 해당하는 부분이 급격히 변하는 것을 방지할 수 있습니다.

 

287_1

 

# 파이썬 코드

g = gamma *g + (1 - gamma) * gradient**2

Self.weight[i] += - learning_rate * gradient / (np.sqrt(g) + e)


# 케라스 코드

keras.optimizers.RMSprop(lr=0.001, rho=0.9, epsilon=1e-08,

decay=0.0)

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.