6.1.1 규제

규제는 복잡도에 대한 페널티(penalty)라고 해석할 수 있습니다. 신경망의 전통적인 규제 기법은 L₂ 규제와 가중치 감쇠입니다. L₂ 규제는 훈련하는 동안 최소화할 손실 함수(loss function)에 페널티 항을 추가합니다. 추가된 항은 가중치 제곱 합과 같이 가중치의 크기를 나타냅니다. 다음 식은 L₂ 규제가 추가된 손실을 보여 줍니다.¹

여기에서 λ는 규제 강도를 조절하는 하이퍼파라미터입니다.

역전파(backpropagation) 과정에서 옵티마이저(optimizer)는 페널티 항이 추가된 손실을 최소화함으로써 모델의 가중치를 작게 만들고 이전에 본 적 없는 데이터에 대한 일반화 성능을 향상시킵니다.