더북(TheBook)

여기서 활성화 함수3의 값은 yo1입니다. 따라서 활성화 함수3의 미분은 다음과 같이 구할 수 있습니다.

 

 

이제 주어진 식을 정리하면 다음과 같습니다.

 

 

여기서 가중합3n1n2 노드로부터 전달된 yh 값과 w(2) 값을 통해 만들어집니다.

 

 

그런데 책에서 다루었던 바이어스가 여기서는 1로 대체되어 사용됩니다. 신경망에서는 바이어스를 항상 1로 설정해 놓는데 왜 그럴까요? 바이어스는 그래프를 좌표에서 좌우로 움직이는 역할을 하는데, 활성화 함수로 사용되는 시그모이드 함수가 가장 안정된 예측을 하게 하는 바이어스 값이 1이기 때문입니다. 따라서 바이어스 값을 따로 계산하지 않고 1로 처리해 연산 속도를 높입니다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.