4.3.1 심층 신경망

심층 신경망(DNN)은 입력층과 출력층 사이에 다수의 은닉층을 포함하는 인공 신경망입니다.

머신 러닝에서 비선형 분류를 하기 위해 여러 트릭(trick)을 사용했습니다. 하지만 심층 신경망은 다수의 은닉층을 추가했기 때문에 별도의 트릭 없이 비선형 분류가 가능합니다.

다수의 은닉층을 두었기 때문에 다양한 비선형적 관계를 학습할 수 있는 장점이 있지만, 학습을 위한 연산량이 많고 기울기 소멸 문제 등이 발생할 수 있습니다. 이러한 문제를 해결하고자 앞서 설명한 드롭아웃, 렐루 함수, 배치 정규화 등을 적용해야 합니다.

▲ 그림 4-24 심층 신경망