3.4.3 분석모형 응용 - 경사 하강법과 뉴턴랩슨 메서드

최적화는 주어진 문제에서 최적의 해를 찾는 과정을 의미한다. 예를 들어 월급의 몇 %를 저축해야 가장 큰 만족감을 얻는지 알아본다고 하자. 월급의 저축 비율은 최소 10%부터 최대 14%까지이다. 저축하는 %를 달리해가며 매월 만족도를 기록하였다.

▼ 표 3-2 월별 저축 비율에 따른 만족도

만족도는 저축 비율이 올라감에 따라 같이 상승하다가 저축 비율이 12%가 넘어가면서 다시 하락한 것을 볼 수 있다. 표 3-2를 바탕으로 최적의 저축 비율이 12%임을 알 수 있다. 이 사례는 단순한 형태로 최적화하기 위해 저축 비율에 따른 만족도 함수를 다음과 같이 표현하는 것이다.

▲ 그림 3-12 저축 비율에 따른 만족도 변화

저축 비율에 따른 만족도는 이차 함수의 형태로 가정할 수 있다. 저축 비율이 높아짐에 따라 만족도가 증가하다가 어느 지점 이후로 감소한다. 바로 이 어느 지점을 찾아야 하는데, 예시처럼 단순한 형태의 자료인 경우에는 큰 어려움은 없겠지만, 자료의 양이 많아지면 관찰을 통한 객관적인 최적의 값을 찾기가 쉽지는 않다. 이때 앞서 살펴본 미분을 활용해보자. 2차식을 미분하면 1차식이 나오는 것은 이미 앞에서 설명하였다. 1차식은 그림 3-12의 화살표 같이 나타낼 수 있고 그 기울기는 저축 비율마다 다른 값을 보여준다. 1차식에 저축 비율의 값을 넣으면 +가 나오기도 하고 -가 나오기도 한다. 그리고 최적의 위치는 바로 기울기가 +에서 -로 변하는 지점, 즉 기울기가 0인 지점이 된다. 이렇게 기울기를 통해 만족도가 최고인 지점을 발견할 수 있다. 변수 x가 두 개 이상이라면 미분 대신 편미분을 활용할 수 있으며, 미분을 통해 최적의 값을 찾는 방법을 경사 하강법(gradient descent)이라고 부른다.