그림 2-12는 손실 함수 L을 최소화하려고 특정 가중치 값을 바꾸었을 때 어떤 일이 일어나는지 보여 줍니다. 왼쪽 그림은 적절하게 선택한 학습률의 경우입니다. 손실이 점차 감소하여 전역 최솟값의 방향으로 이동합니다.

오른쪽 그림은 너무 큰 학습률을 선택하여 전역 최솟값을 지나쳤습니다.

▲ 그림 2-12 적절하게 선택된 학습률과 너무 큰 학습률의 비교