우리 몸 안에 있는 수많은 뉴런은 서로 긴밀히 연결되어 신경 말단부터 뇌까지 곳곳에서 자신의 역할을 수행합니다. 이처럼 복잡하고 어려운 조합의 결과가 바로 우리의 ‘생각’입니다. 그러면 뉴런과 비슷한 메커니즘을 사용하면 인공적으로 ‘생각’하는 그 무언가를 만들 수 있지 않을까요?

이러한 상상과 함께 출발한 연구가 바로 인공 신경망(artificial neural network, 이하 줄여서 ‘신경망’이라고 함) 연구입니다. 맨 처음 시작은 ‘켜고 끄는 기능이 있는 신경’을 그물망 형태로 연결하면 사람의 뇌처럼 동작할 수 있다는 가능성을 처음으로 주장한 맥컬럭-월터 피츠(McCulloch-Walter Pitts)의 1943년 논문입니다.¹ 그 후 1957년, 미국의 신경 생물학자 프랑크 로젠블랫(Frank Rosenblatt)이 이 개념을 실제 장치로 만들어 선보입니다. 이것의 이름이 퍼셉트론(perceptron)입니다. 퍼셉트론은 입력 값을 여러 개 받아 출력을 만드는데, 이때 입력 값에 가중치를 조절할 수 있게 만들어 최초로 ‘학습’을 하게 했습니다(그림 7-2 ➊ 참조).

3년 후, 여기에 앞 장에서 다룬 경사 하강법을 도입해 최적의 경계선을 그릴 수 있게 한 아달라인(Adaline)이 개발됩니다(그림 7-2 ➋ 참조). 특히 아달라인은 이후 서포트 벡터 머신(Support Vector Machine) 등 머신 러닝의 중요한 알고리즘들로 발전해 가는데, 이 중 시그모이드를 활성화 함수로 사용한 것이 바로 앞서 배웠던 로지스틱 회귀입니다.