서포트 벡터 머신(Support Vector Machine, SVM)은 강력하고 널리 사용되는 학습 알고리즘입니다. SVM은 퍼셉트론의 확장으로 생각할 수 있습니다. 앞서 퍼셉트론 알고리즘을 사용하여 분류 오차를 최소화했습니다. SVM의 최적화 대상은 마진을 최대화하는 것입니다. 마진은 클래스를 구분하는 초평면(결정 경계)과 이 초평면에 가장 가까운 훈련 샘플 사이의 거리로 정의합니다. 이런 샘플을 서포트 벡터(support vector)라고 합니다. 그림 3-9에 나타나 있습니다.

▲ 그림 3-9 서포트 벡터 머신