마지막으로 KNN은 차원의 저주 때문에 과대적합되기 쉽다는 것이 중요합니다. 차원의 저주(curse of dimensionality)는 고정된 크기의 훈련 데이터셋이 차원이 늘어남에 따라 특성 공간이 점점 희소해지는 현상입니다.²⁹ 고차원 공간에서는 가장 가까운 이웃이라도 좋은 추정 값을 만들기에는 너무 멀리 떨어져 있다는 뜻입니다.

로지스틱 회귀에 관한 절에서 과대적합을 피하기 위한 방법으로 규제 개념을 설명했습니다. 결정 트리나 KNN처럼 규제를 적용할 수 없는 모델³⁰에서는 특성 선택과 차원 축소 기법을 사용하면 차원의 저주를 피하는 데 도움이 됩니다. 이는 다음 장에서 자세히 설명하겠습니다.