Note ≡ 편향-분산 트레이드오프

연구자들은 종종 ‘편향(bias)’과 ‘분산(variance)’ 또는 ‘편향-분산 트레이드오프(tradeoff)’란 용어를 사용하여 모델의 성능을 설명합니다. 모델의 ‘분산이 높다’ 또는 ‘편향이 크다’고 말하는 대화, 책, 글을 보았을지 모릅니다. 이것은 무슨 뜻일까요? 일반적으로 ‘높은 분산’은 과대적합에 비례하고 ‘높은 편향’은 과소적합에 비례합니다.

머신 러닝 모델에서 분산은 모델을 여러 번 훈련했을 때 특정 샘플에 대한 예측의 일관성(또는 변동성)을 측정합니다. 예를 들어 훈련 데이터셋의 일부분을 사용하여 여러 번 훈련하는 경우입니다. 이런 모델은 훈련 데이터의 무작위성에 민감하다고 말할 수 있습니다. 반대로 편향은 다른 훈련 데이터셋에서 여러 번 훈련했을 때 예측이 정확한 값에서 얼마나 벗어났는지 측정합니다. 편향은 무작위성이 아니라 구조적인 에러를 나타냅니다.

‘편향’과 ‘분산’ 용어의 기술적인 정의와 유도에 관심이 있다면 제 강의 노트를 참고하세요.

https://sebastianraschka.com/pdf/lecture-notes/stat451fs20/08-model-eval-1-intro__notes.pdf