4.5.3 L1 규제를 사용한 희소성
L1 규제와 희소성을 이야기해 보죠. L1 규제 이면에 있는 주요 개념은 앞 절에서 논의한 것과 유사합니다. L1 페널티는 가중치 절댓값의 합이기 때문에 그림 4-7과 같이 다이아몬드 모양의 제한 범위를 그릴 수 있습니다(L2 항은 이차식이라는 것을 기억하세요).
▲ 그림 4-7 손실 함수에 L1 규제 추가하기
그림 4- 7에서 w1 = 0일 때 손실 함수의 등고선이 L1 다이아몬드와 만나는 것을 볼 수 있습니다. L1 규제의 등고선은 날카롭기 때문에 손실 함수의 포물선과 L1 다이아몬드의 경계가 만나는 최적점은 축에 가깝게 위치할 가능성이 높습니다. 이것이 희소성이 나타나는 이유입니다.