4.5.3 L1 규제를 사용한 희소성
L1 규제와 희소성을 이야기해 보죠. L1 규제 이면에 있는 주요 개념은 앞 절에서 논의한 것과 유사합니다. L1 페널티는 가중치 절댓값의 합이기 때문에 그림 4-6과 같이 다이아몬드 모양의 제한 범위를 그릴 수 있습니다(L2 항은 이차식이라는 것을 기억하세요).
▲ 그림4-6 L1 규제와 비용 함수
그림 4- 6에서 w1 = 0일 때 비용 함수의 등고선이 L1 다이아몬드와 만나는 것을 볼 수 있습니다. L1 규제의 등고선은 날카롭기 때문에 비용 함수의 포물선과 L1 다이아몬드의 경계가 만나는 최적점은 축에 가깝게 위치할 가능성이 높습니다. 이것이 희소성이 나타나는 이유입니다.
Note ≡ L1 규제와 희소성
L1 규제가 희소한 모델을 만드는 이유에 대한 수학적 상세는 책 범위를 넘어섭니다. 관심이 있다면 Trevor Hastie, Robert Tibshirani, Jerome Friedman이 쓴 <The Elements of Statistical Learning>(Springer Science+Business Media, 2009)의 3.4절에서 L2와 L1 규제에 대한 자세한 설명을 참고하세요.