이때 변수 X를 나타내는 입력층(input layer), 중간에 거치는 은닉층(hidden layer), 그리고 Y를 나타내는 결과층(output layer)이 있다. 이러한 인공 신경망의 핵심은 바로 노드들의 연결을 어떠한 모양으로 구성하는지 그리고 그때 연결을 나타내는 화살표가 갖는 가중치의 최적 값을 어떻게 구하는지가 될 것이다. 인공 신경망 기법은 바로 이러한 최적의 가중치를 구하는 기법인 셈이다.

최적의 가중치를 구하기 위해서 많은 알고리즘이 개발되고 있는데, 그중 기존부터 많이 사용된 역전파(back propagation)에 대해 살펴보자. 역전파 알고리즘의 핵심은 인공 신경망에서 예측한 Y와 원래 Y의 오차를 최소화하는 방향으로 경사 하강법을 통해 가중치를 최적화하는 것이다.

▲ 그림 8-10 활성화 함수의 예

오차는 줄여야 할 대상으로, 알고리즘은 오차를 줄이는 방향으로 가중치를 조정할 수 있다. 예를 들어서 가장 처음의 가중치 값을 무작위로 넣었다고 하자. 이후 X에 각 가중치를 적용해서 계산하면 어떤 Y가 예측될 것이다. 물론 이렇게 예측한 값은 형편없는 수준이며, Y를 예측하기 위해 아직 어떤 노력도 기울이지 않았다.