1.3.2 신경망 기본 아키텍처
이 장에서는 먼저 신경망의 가장 단순한 아키텍처와 기본 구성 요소를 소개한다. 그런 다음 머신 러닝 라이브러리를 사용하지 않고 오직 파이썬만 사용해 기본 신경망을 만들어 본다. 이 실습을 통해 신경망의 내부 원리를 직관적으로 이해할 수 있을 것이다.
기본 신경망은 다음 요소로 구성된다.
• 입력 레이어 한 개(x)
• 은닉 레이어 다수
• 출력 레이어 한 개(
)
• 각 레이어 간 가중치(weight)(W)와 편향(bias)(b)1
• 각 은닉 레이어의 활성화 함수(σ)
그림 1-5는 레이어 두 개로 구성된 신경망 예시다(신경망의 레이어 개수를 셀 때는 보통 입력 레이어를 제외한다).
▲ 그림 1-5 레이어 두 개로 구성된 신경망 예
1 역주 여기서 편향은 함수의 절편(intercept)과 동일한 개념이다.