더북(TheBook)

 

4교차 엔트로피

 

앞서 나온 교차 엔트로피에 대해 조금 더 자세히 알아보겠습니다. 교차 엔트로피는 주로 분류 문제에서 많이 사용되는데, 특별히 예측 값이 참과 거짓 둘 중 하나인 형식일 때는 binary_crossentropy(이항 교차 엔트로피)를 씁니다. 지금 구하고자 하는 것은 생존(1) 또는 사망(0) 둘 중 하나이므로 binary_crossentropy를 사용할 수 있는 좋은 예라고 할 수 있습니다. binary_crossentropy를 적용하려면 앞 식의 mean_squared_error 자리에 binary_crossentropy를 입력하면 됩니다. 이를 실행하면 예측 정확도(Accuracy)가 약간 향상되는 것을 알 수 있습니다.

이처럼 케라스에서는 간단한 입력만으로도 다양한 오차 함수를 적용할 수 있는데, 현재 딥러닝과 관련하여 케라스에서 사용되는 대표적인 오차 함수는 다음과 같습니다.

 

표 10-1 대표적인 오차 함수

* 실제 값을 yt, 예측 값을 yo라고 가정할 때

 

 

 

 

평균 제곱 계열

mean_squared_error

평균 제곱 오차

계산: mean(square( yt - yo))

mean_absolute_error

평균 절대 오차(실제 값과 예측 값 차이의 절댓값 평균)

계산: mean(abs(yt - yo))

mean_absolute_percentage_error

평균 절대 백분율 오차(절댓값 오차를 절댓값으로 나눈 후 평균)

계산: mean(abs(yt - yo)/abs(yt) (단, 분모 ≠ 0)

mean_squared_logarithmic_error

평균 제곱 로그 오차(실제 값과 예측 값에 로그를 적용한 값의 차이를 제곱한 값의 평균)

계산: mean(square((log(yo) + 1) - (log(yt) + 1)))

교차 엔트로피 계열

categorical_crossentropy

범주형 교차 엔트로피(일반적인 분류)

binary_crossentropy

이항 교차 엔트로피(두 개의 클래스 중에서 예측할 때)

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.