더북(TheBook)

 

1오차 역전파의 개념

 

지금까지 입력 값과 출력 값을 알고 있는 상태에서 중간에 은닉층을 두는 다층 퍼셉트론의 개념에 대해서 공부했습니다. 그리고 우리가 구해야 할 가중치(w)와 바이어스(b)가 무엇인지도 알아보았습니다. 그런데 우리는 앞서 XOR 문제를 해결할 때 정답에 해당하는 가중치와 바이어스를 미리 알아본 후 이를 집어넣었습니다. 그렇다면 이 가중치와 바이어스를 실제 프로젝트에서는 어떻게 구할 수 있을까요?

이 부분은 어려운 문제이기도 하고, 딥러닝으로 나아가는 가장 중요한 부분이기도 합니다. 그런데 여러분은 이미 가중치를 구하는 방법을 알고 있습니다. 바로 앞서 배웠던 경사 하강법을 그대로 이용하면 됩니다.

임의의 가중치를 선언하고 최소 제곱법을 이용해 오차를 구한 뒤 이 오차가 최소인 지점으로 계속해서 조금씩 이동시킵니다. 이 오차가 최소가 되는 점(미분했을 때 기울기가 0이 되는 지점)을 찾으면 그것이 바로 우리가 알고자 하는 답입니다. 선형 회귀와 로지스틱 회귀의 개념을 이해했다면 어렵지 않게 이해할 수 있을 것입니다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.