여기서 강아지와 고양이를 구분 짓는 가운데 선을 결정 경계(decision boundary)라고 합니다. 2차원 공간에서 결정 경계는 선이 되며, 3차원이 되면 면이 됩니다. 그러나 SVM에서는 이 선 대신 초평면(hyperplane)을 찾습니다.

▲ 그림 5-9 SVM 분류 결과 예시

초평면은 n차원 공간에서 (n-1)차원의 부분 공간을 의미하며 2D 공간에서의 초평면은 선이며, 3D 공간에서의 초평면은 평면입니다. 더 높은 차원에서 초평면은 해당 공간을 둘로 나누는 역할을 합니다. 그림 5-9에서 회색선과 주황색선의 거리를 마진(margin)이라고 하며, SVM은 마진이 최대가 되는 초평면을 찾는 것이 목표입니다. 이렇게 초평면을 이용하여 일반적인 분류기보다 오버피팅(overfitting)을 방지할 수 있습니다 SVM은 고차원 데이터에서도 잘 작동하는 특성 덕분에, 복잡한 특징 공간에서도 과적합을 방지하는 데 유리합니다.