좋은 편향 -분산 트레이드오프를 찾는 한 가지 방법은 규제를 사용하여 모델의 복잡도를 조정하는 것입니다. 규제(regularization)는 공선성(collinearity)(특성 간의 높은 상관관계)을 다루거나 데이터에서 잡음을 제거하여 과대적합을 방지할 수 있는 매우 유용한 방법입니다.
규제는 과도한 파라미터(가중치) 값을 제한하기 위해 추가적인 정보를 주입하는 개념입니다. 가장 널리 사용하는 규제 형태는 다음과 같은 L 2 규제입니다(이따금 L2 축소 또는 가중치 감쇠라고 부릅니다).13
이 식에서 λ는 규제 하이퍼파라미터입니다. 분모의 2는 단순히 스케일링 계수이며 손실의 그레이디언트를 계산할 때 상쇄됩니다. 샘플 크기 n은 손실과 정규화 항의 스케일을 유사하게 조정하기 위해 추가합니다.
Note ≡ 규제와 특성 정규화(normalization)
규제는 표준화 같은 특성 스케일 조정이 중요한 또 다른 이유입니다. 규제가 잘 동작하려면 모든 특성이 비슷한 스케일을 가져야 합니다.