더북(TheBook)

 

2모멘텀

 

모멘텀(Momentum) 방법을 식으로 표현하면 다음과 같습니다.

 

284

 

이 식은 앞서 우리가 경사 하강법을 위해 사용했던 의 방법 그대로 V(t)을 먼저 구하고 그 값을 가중치에 업데이트한다는 의미입니다. 여기서 V(t)를 구할 때 는 앞서 구한 오차를 어느 정도(%) 반영할지를 정하는 ‘모멘텀 계수’입니다. 이를 파이썬 코드로 표현하면 다음과 같습니다

 

v = m * v - learning_rate * gradient

self.weight[i] += v

 

케라스 코드는 다음과 같이 앞서 소개한 확률적 경사 하강법에 모멘텀 계수만 추가해 주면 됩니다.

 

keras.optimizers.SGD(lr=0.1, momentum=0.9)

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.