1.2.2 초창기 신경망

초창기 버전의 신경망은 이 책에서 다루는 최신 구조로 완전히 대체되었습니다. 하지만 딥러닝의 기원을 아는 것은 유익합니다. 신경망의 핵심 아이디어는 아주 일찍 1950년대에 작으나마 연구되었지만 본격적으로 시작되기까지는 수십 년이 걸렸습니다. 대규모 신경망을 훈련시킬 수 있는 효과적인 방법을 오랜 기간 동안 찾지 못했기 때문입니다. 1980년대 중반에 여러 사람이 제각기 역전파 알고리즘을 재발견하고 신경망에 이를 적용하기 시작하면서 상황이 바뀌었습니다. 이 알고리즘은 경사 하강법 최적화를 사용하여 연쇄적으로 변수가 연결된 연산을 훈련하는 방법입니다(나중에 이 개념을 상세히 설명하겠습니다).

성공적인 첫 번째 신경망 애플리케이션은 1989년 벨 연구소(Bell Labs)에서 나왔습니다. 얀 르쿤(Yann LeCun)은 초창기 합성곱 신경망(convolution neural network)과 역전파를 연결하여 손글씨 숫자 이미지를 분류하는 문제에 적용했습니다. LeNet이라고 부르는 이 신경망은 우편 봉투의 우편 번호 코드를 자동으로 읽기 위해 1990년대 미국 우편 서비스에 사용되었습니다.