이 공식에서 출력()에 영향을 주는 변수는 가중치(W)와 편향(b)뿐이다. 따라서 가중치와 편향 값이 예측 결과와 성능을 크게 좌우한다. 신경망을 훈련시킨다는 것은 결국 입력 데이터에 맞춰 가중치와 편향 값을 조절하는 과정을 말한다.

훈련 과정은 반복적으로 이뤄지며 다음 단계로 구성된다.

1. 순전파(feedforward): 예측값()을 계산한다.

2. 역전파(backpropagation): 가중치와 편향 값을 갱신한다.

그림 1-6은 신경망의 훈련 과정을 그린 것이다.

▲ 그림 1-6 신경망 훈련 과정

1.3.3.1 순전파 과정

그림 1-6에서 볼 수 있듯이 순전파 과정은 단순한 수학 계산이다. 앞서 만든 레이어 두 개짜리 신경망의 경우 신경망 출력값을 계산하는 공식은 다음과 같다.