손실 함수와 비용 함수

손실(loss) 함수는 훈련 데이터셋에 있는 특정 사례의 오차를 정량화하는 방법을 정의합니다. 비용(cost) 함수는 전체 훈련 데이터셋의 오차를 최소화하는 방법을 정의합니다. 즉, 손실 함수는 훈련 데이터셋의 개별 사례에 적용하는 것이며, 비용 함수는 실젯값과 예측값 사이의 전반적인 오차를 정량화하는 전체 비용을 구할 때 사용합니다. 비용은 w와 j에 의해 결정됩니다.

로지스틱 회귀에 사용하는 손실 함수는 다음과 같습니다.

Loss(ý⁽ⁱ⁾, y⁽ⁱ⁾) = - (y⁽ⁱ⁾ log ý⁽ⁱ⁾ + (1 - y⁽ⁱ⁾) log(1 - ý⁽ⁱ⁾))

y⁽ⁱ⁾ = 1이면 Loss(ý⁽ⁱ⁾, y⁽ⁱ⁾) = -log ý⁽ⁱ⁾입니다. 손실을 최소화하려면 ý⁽ⁱ⁾값이 커져야 합니다. ý⁽ⁱ⁾는 시그모이드 함수를 쓰기 때문에 그 최댓값은 1입니다.

반대로, y⁽ⁱ⁾ = 0이면 Loss(ý⁽ⁱ⁾, y⁽ⁱ⁾) = - log(1 - ý⁽ⁱ⁾)입니다. 손실을 최소화하려면 ý⁽ⁱ⁾값이 최대한 작아져야 하며, 그 최솟값은 0입니다.

그리고 로지스틱 회귀의 비용 함수는 다음과 같습니다.

cost(w, b) = Loss(ý⁽ⁱ⁾, y⁽ⁱ⁾)