요약 테이블
서로 다른 우선순위와 데이터에 대한 개념화로 탄생한 세 가지 학습 방법이 공통의 시작점을 가지고 있다는 것이 의외로 느껴질 수도 있습니다. 간단한 시나리오에서 이 모델들의 예측 값은 평균입니다. 모든 사례를 이용하는 최근접 이웃 모델의 결과는 무엇일까요? 평균을 예측합니다. w0 가중치만 이용하는 선형 회귀는 어떤가요? w0 은 평균으로 수렴합니다. 간단한 형태의 나이브 베이즈는 출력 타깃의 평균이나 분류 문제의 경우 가장 빈도가 높은 값과 같습니다. 하지만 이 방법들은 서로 다른 방향으로 확장됩니다. 표 5-3은 이 모델들이 가진 편향 - 분산과 과소적합과 과대적합의 상충 관계가 어떻게 다른지 보여 줍니다.
▼ 표 5-3 편향과 분산의 상충 관계
시나리오 |
사례 |
장점 |
단점 |
위험 |
고 편향 & 저 분산 |
다수 최근접 이웃 |
노이즈에 강함 |
패턴을 놓칠 수 있음 |
과소적합 |
저차수 다항식 |
일반화되도록 강제됨 |
|||
작거나 0인 선형 회귀 계수 |
||||
많은 독립 가정 |
||||
저 편향 & 고 분산 |
소수 최근접 이웃 |
복잡한 패턴을 묘사함 |
노이즈를 학습할 수 있음 |
과대적합 |
고차수 다항식 |
학습 데이터를 외울 수 있음 |
|||
큰 선형 회귀 계수 |
||||
적은 독립 가정 |