신경망의 흥망성쇠와 그 이유

신경망의 핵심 아이디어는 1950년대 초에 형성되었습니다. 역전파(backpropagation)를 포함하여 신경망 훈련을 위한 주요 기술은 1980년대에 발명되었습니다. 하지만 1980년대부터 2010년대까지 긴 시간 동안 신경망은 연구 커뮤니티에서 거의 완전히 외면받았습니다. SVM 같은 경쟁 기법들이 인기가 높았고 (많은 층을 가진) 심층 신경망을 훈련시킬 능력이 부족했기 때문입니다. 2010년경에는 여전히 신경망을 연구하는 여러 사람들이 중요한 혁신을 만들어 내기 시작했습니다. 토론토 대학교의 제프리 힌튼(Geoffrey Hinton), 몬트리올 대학교의 요수아 벤지오(Yoshua Bengio), 뉴욕 대학교의 얀 르쿤(Yann LeCun)이 이끄는 그룹과 스위스에 있는 IDSIA(Dalle Molle Institute for Artificial Intelligence Research)의 연구원들입니다. 이들 그룹은 GPU(Graphics Processing Unit)로 처음 실용적인 심층 신경망을 구현하고 ImageNet 컴퓨터 비전 대회에서 에러율을 25%에서 5% 이하로 낮추는 등 중요한 이정표를 달성했습니다.

2012년부터 심층 합성곱 신경망(convnets)은 모든 컴퓨터 비전 작업을 위한 필수 알고리즘이 되었고, 더 일반적으로 모든 지각에 관련된 작업에 적용할 수 있습니다. 컴퓨터 비전이 아닌 지각에 관련된 작업의 예로는 음성 인식이 있습니다. 2015년과 2016년의 주요 컴퓨터 비전 콘퍼런스에서는 어떤 형태로든 합성곱 신경망을 포함하지 않는 발표를 찾는 것이 거의 불가능했습니다. 동시에 딥러닝은 자연어 처리와 같은 다른 종류의 문제에도 많이 적용되었습니다. 광범위한 애플리케이션에서 SVM과 결정 트리를 완전히 대체했습니다. 예를 들어 수년간 CERN(European Organization for Nuclear Research)은 결정 트리 기반 방법을 사용하여 대형 강입자 충돌기(Large Hadron Collider)에서 ATLAS 검출기의 입자 데이터를 분석했습니다. 하지만 CERN은 결국 높은 성능과 대용량 데이터의 훈련 능력 때문에 심층 신경망으로 바꾸었습니다.