신경망 모델

그림 10-7에 신경망 모델의 개념도를 보였다.

신경망에 입력이 주어지면 그 값은 그림 10-7에 보인 화살표를 따라 전달되어 은닉층에 도달한다. 은닉층의 노드는 주어진 입력에 따라 활성화된다. 활성화된 은닉 노드는 출력 값을 계산하고 그 결과를 출력층에 전달한다. 출력층의 노드는 입력에 따라 활성화되고, 활성화된 노드들이 최종 출력 값을 계산한다. 이 출력 값이 모델의 최종 예측 결과가 된다.

각 화살표에는 가중치(연결 강도)가 부여된다. 입력층의 노드 i와 은닉층의 노드 j를 연결한 화살표에 부여된 가중치를 w_ji라 하고, 입력층에 오는 입력을 x₁, x₂, …, x_i, …, x_n이라 하자. 그러면 입력층에 주어진 값들은 은닉층 노드 j로 다음과 같이 모인다.

노드 j로 전달되는 이 값을 넷 활성화net activation라 하고, 이와 같은 계산식을 합성 함수combination function라고 한다.

은닉층 노드 j가 출력층에 보내는 값은 넷 활성화 값을 활성 함수activation function에 통과시킨 결과다. 활성 함수 중 많이 사용되는 두 가지를 소개한다. 식 10-3은 부호sign에 따라 다른 결과를 출력하는 함수고, 식 10-4는 시그모이드sigmoid 함수다.

시그모이드 함수는 그림 10-8에 보인 것과 같이 0 ~ 1 사이의 출력을 내보내는 함수다. x 값이 작은 영역에서는 입력에 민감하게 출력이 크게 변하고, x 값이 큰 영역에서는 입력에 덜 민감하게 출력이 변한다.