7.2.1 비용함수와 경사하강법

앞서 실제값과 예측값의 차이를 손실(loss)이라고 했으며, 이를 측정하는 함수가 손실함수라고 했다. 손실이 작다면 예측이 잘되고 있다는 의미다.

결국 통계학도 머신 러닝도 평균제곱오차 또는 비용함수(앞에서 설명했듯이 오차 = 비용이고, 이 비용을 줄이고자 만드는 것이 오차를 계산하는 함수인 비용함수다)를 최소가 되게 만드는 W와 b를 구하는 것이 목적이다.

머신 러닝에서 입력 데이터, 모델, 출력, 손실함수 구조는 다음과 같다.

▲ 그림 7-6 머신 러닝의 구조

Input은 모델에 들어가는 입력, Output은 모델의 연산 결과(출력)다. 앞서 회귀 예에서 사용한 y = Wx + b가 모델에 해당하고, 평균제곱오차가 손실함수에 해당한다. 참고로 손실함수는 그 외에도 절대오차함수, 평균제곱오차함수, 크로스엔트로피 함수 등이 있다.

• 절대오차함수
• 평균제곱오차함수
• 크로스엔트로피 함수