1.3.3.2 손실 함수

신경망에는 다양한 손실 함수를 사용할 수 있으며, 당면 문제에 따라 손실 함수 선택도 달라진다. 예제에서는 우선 SSE(Sum-of-Squares Error)를 사용하자.

SSE는 단순히 예측값과 실제값의 차이를 더한 것이며, 차이의 제곱값을 사용해 절댓값을 반영한다. 결국 신경망 훈련이란 손실 함수 값을 최소로 줄일 수 있는 최적의 가중치와 편향을 찾는 과정이다.

1.3.3.3 역전파 과정

예측 오차를 측정할 방법을 마련했다. 이제 오차를 역으로 전파하고 가중치와 편향을 갱신할 방법이 필요하다. 가중치와 편향을 어떻게 조절해야 적당할지 알아내려면 가중치와 절편에 따른 손실 함수의 미분(derivative)을 알아내야 한다. 미분을 배운 기억을 떠올려 보자. 함수의 미분은 단순히 함수의 경사다.

▲ 그림 1-7 손실을 최소화하는 역전파 과정