2 다층 퍼셉트론의 설계

다층 퍼셉트론이 입력층과 출력층 사이에 숨어 있는 은닉층을 만드는 것을 그림으로 나타내면 그림 8-5와 같습니다.

그림 8-5 | 다층 퍼셉트론의 내부

가운데 점선으로 표시된 부분이 은닉층입니다. x₁과 x₂는 입력 값인데, 각 값에 가중치(w)를 곱하고 바이어스(b)를 더해 은닉층으로 전송합니다. 이 값들이 모이는 은닉층의 중간 정거장을 노드(node)라고 하며, 여기서는 n₁과 n₂로 표시되었습니다. 은닉층에 취합된 값들은 활성화 함수를 통해 다음으로 보내는데, 만약 앞서 배운 시그모이드 함수(σ(x))를 활성화 함수로 사용한다면 n₁과 n₂에서 계산되는 값은 각각 다음과 같습니다.