가중치 감쇠는 L₂ 규제와 비슷하지만 손실 함수를 변경하는 것이 아니라 옵티마이저에 바로 적용됩니다. 가중치 감쇠가 L₂ 규제와 동일한 효과를 내기 때문에 두 방법은 종종 같은 의미로 사용됩니다. 하지만 구현 방법과 옵티마이저에 따라 미묘한 차이가 있을 수 있습니다.

규제 효과를 내는 다른 기법이 많이 있습니다. 여기서는 대표적으로 널리 사용되는 방법인 드롭아웃과 조기 종료(early stopping)를 알아보겠습니다.

드롭아웃은 훈련하는 동안 은닉 유닛(unit)²의 활성화 중 랜덤하게 일부를 0으로 만들어 과대적합을 감소시킵니다. 결국 신경망이 활성화된 특정 유닛에 의존할 수 없습니다. 더 많은 노드를 사용하고 동일한 데이터에서 다양한 독립 표현을 활용하도록 학습하여 과대적합을 줄이는 데 도움이 됩니다.