로지스틱 회귀의 손실 함수는 규제 항을 추가해서 규제를 적용합니다. 규제 항은 모델 훈련 과정에서 가중치를 줄이는 역할을 합니다.

규제가 없는 손실의 편도 함수는 다음과 같이 정의됩니다.

손실에 규제 항을 추가하면 편도 함수가 다음과 같이 바뀝니다.

규제 하이퍼파라미터 λ를 사용하여 가중치를 작게 유지하면서 훈련 데이터에 얼마나 잘 맞출지를 조정할 수 있습니다. λ 값을 증가하면 규제 강도가 높아집니다. 2장에서 배운 것처럼 절편 유닛은 기본적으로 음의 임계 값에 해당하는 역할을 하므로 일반적으로 규제에 포함하지 않습니다.

사이킷런의 LogisticRegression 클래스의 C 매개변수는 다음 절에서 볼 서포트 벡터 머신 형식에서 따왔습니다. C 매개변수는 규제 하이퍼파라미터 λ의 역수입니다. 결과적으로 역 규제 파라미터 C의 값을 감소시키면 규제 강도가 증가합니다. 두 개의 가중치에 대해 L2 규제 효과를 그래프로 나타내 보겠습니다.¹⁴