하지만 다층 퍼셉트론은 당시의 학습 알고리즘으로는 은닉층의 가중치를 학습할 수 없었기 때문에 실제로 활용하기는 어려웠습니다. 기존의 퍼셉트론 학습 방식은 단층 신경망에만 적용되었기에, 은닉층의 가중치를 효과적으로 조정할 수 있는 새로운 방법이 필요했습니다.

역전파(backpropagation) 알고리즘은 1974년 폴 웨어보스(Paul Werbos)가 연쇄 법칙(chain rule)을 사용해 출력층에서 계산된 오차를 은닉층으로 전파하는 아이디어에서 시작되었습니다.

이후 1986년, 제프리 힌턴(Geoffrey Hinton)과 그의 동료들이 다층 퍼셉트론과 역전파 알고리즘을 적용해 학습할 수 있다는 것을 입증했습니다. 기존의 단층 퍼셉트론으로는 XOR 문제를 해결할 수 없었지만, 다층 퍼셉트론은 은닉층과 역전파 알고리즘을 사용해 이 문제를 해결할 수 있었습니다.

역전파 알고리즘은 순방향(forward) 전파로 출력값을 계산한 후, 발생한 오차를 역방향(backward)으로 전파해 가중치를 최적화하는 방식으로 작동합니다. 이를 통해 다층 신경망이 비선형적 문제를 학습하게 되었고, 신경망의 학습 효율성도 크게 개선되었습니다.