▲ 그림 2-10 경사 하강법 알고리즘
경사 하강법을 사용하면 손실 함수 L(w, b)의 그레이디언트18 ∇L(w, b) 반대 방향으로 조금씩 모델 파라미터를 업데이트할 수 있습니다.
파라미터 변화 △w와 △b는 음의 그레이디언트에 학습률 η를 곱한 것으로 정의합니다.
손실 함수의 그레이디언트를 계산하려면 각 가중치 wj에 대한 손실 함수의 편도 함수를 계산해야 합니다.
▲ 그림 2-10 경사 하강법 알고리즘
경사 하강법을 사용하면 손실 함수 L(w, b)의 그레이디언트18 ∇L(w, b) 반대 방향으로 조금씩 모델 파라미터를 업데이트할 수 있습니다.
파라미터 변화 △w와 △b는 음의 그레이디언트에 학습률 η를 곱한 것으로 정의합니다.
손실 함수의 그레이디언트를 계산하려면 각 가중치 wj에 대한 손실 함수의 편도 함수를 계산해야 합니다.