잠깐만요

인공 신경망의 역사

이러한 인공 신경망의 역사를 살펴보면 1943년까지 거슬러 올라갑니다. 맥컬럭(McCulloch, Warren S)과 피츠(Walter Pitts)는 <A logical calculus of the ideas immanent in nervous activity>라는 논문에서 뇌의 복잡한 신경 구조를 구현할 수 있다고 하였습니다. 그 후 15년 뒤 프랭크 로젠블러트(Frank Rosenblatt)는 그 유명한 퍼셉트론이라는 개념을 <The perceptron: A probabilistic model for information storage and organization in the brain>이라는 논문에서 발표합니다. 바로 이 퍼셉트론이 인공 신경망의 시초가 되는 개념이죠.

오늘날 사용하고 있는 딥러닝도 따지고 보면 퍼셉트론의 구조와 비슷합니다. 하지만 1958년에 발표한 퍼셉트론이 왜 오늘날이 되어서야 주목받는 것일까요? 퍼셉트론에 있던 여러 문제점을 해결할 방법을 찾았기 때문입니다. 1969년 마빈 민스키(Marvin Minsky)와 새뮤엘 페퍼트(Seymour Papert)가 <Perceptrons: an introduction to computational geometry>라는 논문을 통해 퍼셉트론의 치명적인 약점을 찾아내었습니다. 하지만 연구자들은 거기에서 멈추지 않고 1986년에 데이비드 럼멜하트(David E. Rumelhart)와 제임스 맥클레랜드(James McClelland)가 <Parallel Distributed Processing>에서 퍼셉트론의 문제를 해결할 수 있는 방법으로 다층 퍼셉트론(MLP, Multi-Layer Perceptrons)과 오차 역전파법(Backpropagation Algorithm)을 제시하였습니다. 딥러닝처럼 여러 층을 가진 신경망을 구성하여서 기존 퍼셉트론의 한계를 극복하고, 여러 층이 생기면서 늘어난 계산량을 ‘오차 역전파’라는 알고리즘을 통해 해결한 것이지요.

이후 다층 퍼셉트론에 대한 꾸준한 연구와 학습 알고리즘의 발전, 빠르게 계산할 수 있는 GPU와 같은 하드웨어의 발전에 힘입어 딥러닝 기술이라 불리는 인공 신경망이 오늘날과 같이 두각을 나타낼 수 있었던 것입니다.