많은 머신 러닝 알고리즘은 입력 데이터가 선형적으로 구분 가능하다는 가정을 합니다. 퍼셉트론은 수렴하기 위해 훈련 데이터가 선형적으로 완벽하게 분리 가능해야 한다고 배웠습니다. 지금까지 다루었던 다른 알고리즘들은 선형적으로 완벽하게 분리되지 못한 이유를 잡음 때문이라고 가정합니다. 예를 들어 아달린, 로지스틱 회귀, (기본) SVM입니다.

실전 애플리케이션에서는 비선형 문제를 더 자주 맞닥뜨릴 것입니다. 이런 비선형 문제를 다루어야 한다면 PCA와 LDA 같은 차원 축소를 위한 선형 변환 기법은 최선의 선택이 아닙니다.

이 절에서 PCA의 커널화 버전 또는 KPCA를 다루겠습니다. 3장에서 본 커널 SVM 개념과 관계가 있습니다. 커널 PCA를 사용하여 선형적으로 구분되지 않는 데이터를 선형 분류기에 적합한 새로운 저차원 부분 공간으로 변환하는 방법을 배우겠습니다.

▲ 그림 5-11 선형 문제와 비선형 문제