Note ≡ | 전역 최소점과 최적점

손실 함수는 실제 값과 예측 값 차이를 수치화해 주는 함수입니다. 이 오차 값이 클수록 손실 함수의 값이 크고, 오차 값이 작을수록 손실 함수의 값이 작아집니다. 그리고 이 손실 함수의 값을 최소화하는 가중치와 바이어스를 찾는 것이 학습 목표입니다.

전역 최소점(global minimum)은 오차가 가장 작을 때의 값을 의미하므로 우리가 최종적으로 찾고자 하는 것, 즉 최적점이라고 할 수 있습니다. 그리고 지역 최소점(local minimum)은 전역 최소점을 찾아가는 과정에서 만나는 홀(hole)과 같은 것으로 옵티마이저가 지역 최소점에서 학습을 멈추면 최솟값을 갖는 오차를 찾을 수 없는 문제가 발생합니다.

▲ 그림 2-11 전역 최소점과 최적점