3.4.2 슬랙 변수를 사용하여 비선형 분류 문제 다루기

최대 마진 분류 이면에 있는 수학 개념에 너무 깊이 들어가지 않겠습니다. 1995년 블라드미르 바프닉(Vladimir Vapnik)이 소개한 슬랙 변수만 간략히 소개하겠습니다. 이를 소프트 마진 분류(soft margin classification)라고 합니다.¹⁶ 슬랙 변수는 선형적으로 구분되지 않는 데이터에서 SVM 최적화 목적 함수에 있는 선형 제약 조건을 완화할 필요가 있기 때문에 도입되었습니다. 이를 통해 적절히 손실을 손해 보면서 분류 오차가 있는 상황에서 최적화 알고리즘이 수렴합니다.

결국 슬랙 변수를 사용하면 SVM의 C 매개변수가 도입됩니다. C를 사용하여 분류 오차에 대한 페널티를 조정할 수 있습니다. C 값이 크면 오차에 대한 손실이 커집니다. C 값이 작으면 분류 오차에 덜 엄격해집니다. C 매개변수를 사용하여 마진 폭을 제어할 수 있고, 결국 그림 3-11과 같이 편향 -분산의 트레이드오프를 조정합니다.

▲ 그림 3-11 규제 매개변수 C의 값이 분류에 미치는 영향