3.5.2 커널 기법을 사용하여 고차원 공간에서 분할 초평면 찾기

SVM으로 비선형 문제를 풀기 위해 매핑 함수 를 사용하여 훈련 데이터를 고차원 특성 공간으로 변환합니다. 그다음 이 새로운 특성 공간에서 데이터를 분류하는 선형 SVM 모델을 훈련합니다. 동일한 매핑 함수 를 사용하여 새로운 본 적 없는 데이터를 변환하고 선형 SVM 모델을 사용하여 분류할 수 있습니다.

이런 매핑 방식의 한 가지 문제점은 새로운 특성을 만드는 계산 손실이 매우 비싸다는 것입니다. 특히 고차원 데이터일 때 더욱 그렇습니다. 여기에 소위 커널 기법(kernel trick)이 등장하게 됩니다. SVM을 훈련하기 위해 콰드라틱 프로그래밍 문제를 어떻게 푸는지 상세히 다루지는 않겠습니다. 실전에서 필요한 것은 점곱 를 로 바꾸는 것입니다. 두 포인트 사이 점곱을 계산하는 데 드는 높은 손실을 절감하기 위해 커널 함수(kernel function)를 정의합니다.

가장 널리 사용되는 커널 중 하나는 방사 기저 함수(Radial Basis Function, RBF)입니다. 가우스 커널(Gaussian kernel)이라고도 합니다.²⁰