비선형 분류 사용하기

개체가 초평면의 어느 한편이나 반대편에 놓여있는 것이 이상적이다. 그렇지만 인생은 이상대로 되지 않는다. 그림 7-6과 같이 초평면에서 벗어난 개체를 발견하기도 한다.

커널 함수(종종 커널 트릭(kernel trick)이라고도 한다)를 사용하여 특징 공간에서 초평면의 최대 마진에 적합하도록 알고리즘을 적용할 수 있다. 이 방법은 선형 분류에서 설명한 내적과 매우 유사하지만, 내적 연산 대신 커널 함수를 사용한다는 점이 다르다.

방사 기저 함수(Radial Basis Function, RBF)를 사용하여 몇 가지 커널 함수, 즉 하이퍼볼릭 탄젠트(hyperbolic tangent) 함수, 가우시안 방사 기저(Gaussian radial basis) 함수(웨카에서는 RBF로 지원한다), 두 개의 다항 함수(polynomial function, 하나는 동질적이고, 나머지 하나는 이질적이다)를 선택할 수 있다.

▲ 그림 7-6 개체는 원하는 곳으로 가지 않는다

 

비선형 분류를 모두 다루는 것은 입문서인 이 책의 범위를 넘어선다. 분류할 때 웨카를 사용한다면 LibSVM에서 Radial Basis Function(방사 기저 함수)을 찾아보기 바란다.

이제 SVM 분류를 수행하기 위해 웨카가 무엇을 할 수 있는지 살펴보자.