손실 함수

손실 함수는 신경망에서 모델이 예측한 값과 실제 값 간 오차를 수치화하는 함수입니다. 손실 함수의 값은 모델의 예측이 실제 값과 얼마나 차이가 나는지를 보여주며, 이 값을 최소화하는 방향으로 신경망의 가중치와 편향이 조정됩니다. 손실 함수는 신경망 학습의 핵심 요소로, 모델의 성능을 평가하고 개선하는 데 중요한 역할을 합니다.

손실 함수는 문제 유형(회귀, 분류 등)에 따라 다양하게 선택됩니다. 회귀 문제에는 주로 예측한 값과 실제 값 간 오차를 제곱한 후 평균을 계산하는 평균 제곱 오차(MSE, Mean Squared Error)와 오차의 절댓값 평균을 계산하는 평균 절대 오차(MAE, Mean Absolute Error)를 사용합니다. 분류 문제에는 크로스 엔트로피 손실(cross-entropy loss)을 사용합니다. 이 함수는 모델이 예측한 확률과 실제 레이블(정답) 간 차이를 수치화하여, 예측이 정답에 가까울수록 값이 작아지도록 합니다.

경사 하강법

경사 하강법은 손실 함수의 값을 최소화하기 위해 가중치와 편향의 기울기(편미분 값)를 기반으로 최적화하는 알고리즘입니다. 손실 함수의 기울기를 계산해 가중치를 반복적으로 수정하며, 최적의 값에 점진적으로 접근합니다.