4.5.1 모델 복잡도 제한을 위한 L1 규제와 L 2 규제

3장에서 L2 규제(L2 regularization)는 개별 가중치 값을 제한하여 모델 복잡도를 줄이는 한 방법이라고 배웠습니다. 가중치 벡터 w의 L2 규제는 다음과 같이 정의합니다.

모델 복잡도를 줄이는 또 다른 방법은 L1 규제(L1 regularization)입니다.

가중치 제곱을 그냥 가중치 절댓값으로 바꾼 것입니다. L2 규제와 대조적으로 L1 규제는 보통 희소한 특성 벡터를 만듭니다. 대부분의 특성 가중치가 0이 됩니다. 실제로 관련 없는 특성이 많은 고차원 데이터셋일 경우 이런 희소성이 도움이 될 수 있습니다. 특히 훈련 샘플보다 관련 없는 특성이 더 많은 경우입니다. 이런 맥락으로 보면 L1 규제는 특성 선택의 기법이 될 수 있습니다.