4.5.2 L 2 규제의 기하학적 해석
이전 절에서 언급한 대로 L2 규제는 비용 함수에 페널티 항(penalty term)을 추가합니다. 규제가 없는 비용 함수로 훈련한 모델에 비해 가중치 값을 아주 작게 만드는 효과를 냅니다.
L1 규제가 어떻게 희소성을 만드는지 잘 이해하기 위해 한 걸음 물러서서 규제의 기하학적 해석에 대해 고찰해 보겠습니다. 두 개의 가중치 값 w1과 w2에 대한 볼록한 비용 함수의 등고선을 그려 보죠.
2장 아달린에서 사용했던 제곱 오차합(SSE) 비용 함수가 구 모양이어서 로지스틱 회귀의 비용 함수보다 그리기 쉽습니다. 여기서 얻은 개념은 로지스틱 회귀에도 동일하게 적용 가능합니다. 그림 4-4와 같이 우리의 목표는 훈련 데이터에서 비용 함수를 최소화하는 가중치 값의 조합을 찾는 것임을 기억하세요(타원의 중심 포인트).15
▲ 그림 4-4 가중치 평면에 투영된 볼록 비용 함수의 등고선
15 역주 비용 함수를 지면에 수직인 축에 놓으면 오목한 그릇과 같은 그래프를 상상할 수 있습니다. 그림 4-4는 비용 함수 그래프를 w1, w2축에 투영한 것입니다.