서포트 벡터 머신 모델

그림 10-10에 서포트 벡터 머신의 개념을 그림으로 나타냈다. 흰색 원과 검은색 원은 서로 다른 분류를 뜻한다. 서포트 벡터 머신은 각 분류에 속하는 데이터로부터 같은 간격으로, 그리고 최대로 멀리 떨어진 선 또는 평면을 찾는다. 이러한 선 또는 평면을 최대 여백 초평면Maximum Margin Hyperplane이라고 하고, 이 평면이 분류를 나누는 기준이 된다. 그림 10-10에서는 대각선 방향의 직선이 최대 여백 초평면에 해당한다. 그리고 이 직선과 가장 가까운 각 분류에 속한 점들을 서포트 벡터라고 한다.

모든 데이터를 항상 초평면으로 나눌 수 있는 것은 아니다. 그림 10-11을 보자. 그림의 좌측에 보인 검은색 점과 흰색 점들은 X 축 위에 뒤섞여 있다. 이 두 분류를 구분할 수 있는 기준은 곡선이므로 ‘평면’을 찾는 서포트 벡터 머신을 사용할 수 없다.

이 문제는 커널 트릭Kernel Trick이라는 기법으로 해결한다. 커널 트릭의 기본 아이디어는 주어진 데이터를 적절한 고차원으로 옮긴 뒤 변환된 차원에서 서포트 벡터 머신을 사용해 초평면을 찾는 것이다. 예를 들어, 그림 10-11의 오른쪽에 보인 것처럼 데이터를 1차원에서 2차원으로 변환할 수 있다면 두 그룹을 나누는 직선을 찾을 수 있게 된다.