원래 과대적합을 줄이기 위해 고안된 것은 아니지만 배치 정규화(batch normalization, BatchNorm)와 층 정규화(layer normalization, LayerNorm) 같은 층의 입력을 정규화하는 기법은 훈련을 안정화하고 규제 효과를 내서 과대적합을 줄입니다.¹² 층의 입력이 아니라 모델 가중치를 정규화하는 가중치 정규화(weight normalization, WeightNorm)가 좋은 일반화 성능을 낼 수도 있습니다. 하지만 가중치 정규화가 가중치 감쇠처럼 명확하게 규제로 동작하는 것이 아니기 때문에 이런 효과는 간접적입니다.