더북(TheBook)

 

1확률적 경사 하강법

 

xi를 학습 샘플이라고 할 때 식으로 표현하면 다음과 같습니다. 여기서는 학습률을 나타냅니다.

 

283

 

위 식을 파이썬으로 표현하면 다음과 같이 나타낼 수 있습니다.

 

self.weight[i] += - learning_rate * gradient

 

케라스에는 여기서 다루는 모든 고급 경사 하강법이 내재되어 있습니다. 그리고 다음 코드 한 줄이면 확률적 경사 하강법(Stochastic Gradient Descent, SGD)을 케라스에서 사용할 수 있습니다(lr은 학습률을 의미합니다).

 

keras.optimizers.SGD(lr=0.1)

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.