어떤 것을 조정하려면 먼저 관찰해야 합니다. 신경망의 출력을 제어하려면 출력이 기대하는 것보다 얼마나 벗어났는지 측정해야 합니다. 이는 신경망의 손실 함수(loss function)가 담당하는 일입니다. 손실 함수를 이따금 목적 함수(objective function) 또는 비용 함수(cost function)라고도 부릅니다.⁷ 신경망이 한 샘플에 대해 얼마나 잘 예측했는지 측정하기 위해 손실 함수가 신경망의 예측과 진짜 타깃(신경망의 출력으로 기대하는 값)의 차이를 점수로 계산합니다(그림 1-8).

▲ 그림 1-8 손실 함수가 신경망의 출력 품질을 측정