다층 퍼셉트론은 입력 노드와 출력 노드 사이에 레이어(layer)가 한 개 이상 있다. XOR 예제에는 히든 레이어(hidden layer)라는 중간 레이어(middle layer)가 한 개 있다(그림 5-7). XOR 게이트 출력이 무엇인지 알고, 중간 레이어를 정의해도 완전 자동화된 학습 플랫폼을 완성하려면 다소 시간이 걸린다.

▲ 그림 5-7 히든 레이어가 한 개인 다중 퍼셉트론

 

다음 질문을 생각해보자. “히든 레이어에서는 어떤 일이 일어나는가?” 잠시 XOR 예제로 돌아가보면 각자 값을 가진 입력 노드가 두 개 있다. 노드는 히든 레이어에 결과를 전달할 것이다. 이때 히든 레이어의 입력은 입력 레이어의 출력에 달려 있다.

이런 경우 신경망이 유용하다. 우리는 분류와 패턴 인식을 위해 네트워크를 훈련시킬 수 있다. 인공 신경망도 비지도 학습이나 지도 학습으로 훈련시킬 수 있다.

문제는 히든 레이어에 가중치를 얼마나 주어야 할지 모른다는 점이다. 시그모이드 함수에서 바이어스(bias)를 변경하여 출력 레이어를 변경하고 오류 함수(error function)도 적용할 수 있다. 목표는 오류 함수의 값을 사용하여 최솟값을 얻는 것이다.

앞에서 퍼셉트론 내 임계값 함수를 설명했지만, 그 정도로는 충분하지 않다. 연속되어야 하고 미분 가능해야 한다. 시그모이드 함수에 구현된 바이어스 옵션으로 네트워크를 실행할 때마다 결과와 오류 함수가 개선된다. 앞으로 더 나은 훈련된 네트워크와 더 신뢰할 만한 답을 얻을 것이다.