이후 얀 르쿤(Yann LeCun)은 뉴욕대학교에서 손글씨 숫자 인식을 목표로 연구를 진행하며 특징 추출과 분류를 통합적으로 수행하는 모델을 설계했습니다. 그는 네오코그니트론의 아이디어에서 영감을 받아 데이터를 기반으로 학습이 가능한 합성곱(convolution) 레이어를 도입해 CNN을 발전시켰습니다. 그 결과, 1998년 현대 CNN의 토대로 평가받는 모델인 LeNet-5를 완성했습니다.

▲ 그림 1-27 LeNet-5 아키텍처
출처: yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf

합성곱 레이어는 이미지 데이터를 처리하며 선, 모서리, 패턴 등 중요한 특징을 자동으로 추출합니다. 이 과정에서 작은 필터(커널)가 이미지의 국소 영역을 하나씩 스캔하며 각 영역의 패턴을 감지합니다. 예를 들어 어떤 필터는 선을 감지하고, 다른 필터는 곡선을 감지하는 방식으로 작동합니다. 이렇게 필터와 이미지의 대응 요소를 곱한 뒤 그 합을 계산하는 합성곱 연산(convolution operation)을 통해 특징 맵(feature map)이라는 결과를 생성합니다.