3.6.4 손실 함수 선택하기

문제에 맞는 올바른 손실 함수를 선택하는 것은 아주 중요합니다. 네트워크가 손실을 최소화하기 위해 편법을 사용할 수 있기 때문입니다. 목적 함수가 현재 문제의 성공과 전혀 관련이 없다면 원하지 않는 일을 수행하는 모델이 만들어질 것입니다. ‘모든 인류의 평균 행복 지수를 최대화하기’같은 잘못 선택한 목적 함수에서 SGD로 훈련된 멍청하지만 전지전능한 AI가 있다고 상상해 보죠. 이 AI는 쉽게 문제를 해결하려고 몇 사람을 제외한 나머지 사람을 모두 죽인 후 남은 몇 사람의 행복에만 초점을 맞춥니다. 왜냐하면 평균적인 행복은 얼마나 많은 사람이 남아 있는지와 상관없기 때문입니다. 이는 원했던 바가 아닐 것입니다! 우리가 만든 모든 신경망은 단지 손실 함수를 최소화하기만 한다는 것을 기억하세요. 목적 함수를 현명하게 선택하지 않으면 원치 않은 부수 효과가 발생할 것입니다.

다행히 분류, 회귀, 시퀀스 예측과 같은 일반적인 문제의 경우 올바른 손실 함수를 선택하는 간단한 가이드라인이 있습니다. 예를 들어 2개의 클래스가 있는 분류 문제에는 이진 크로스엔트로피(binary crossentropy), 여러 개의 클래스가 있는 분류 문제에는 범주형 크로스엔트로피(categorical crossentropy)를 사용하는 등입니다. 완전히 새로운 연구를 할 때만 자신만의 손실 함수를 만들게 될 것입니다. 이어지는 몇 개의 장에서 다양한 종류의 일반적인 작업에서 어떤 손실 함수를 선택하는지 자세히 설명하겠습니다.