비선형 문제를 해결하는 가장 기본적인 방법은 저차원 데이터를 고차원으로 보내는 것인데, 이것은 많은 수학적 계산이 필요하기 때문에 성능에 문제를 줄 수 있습니다.6
▲ 그림3-11 비선형과 선형 분류
이러한 문제를 해결하고자 도입한 것이 바로 ‘커널 트릭(kernel trick)’입니다. 선형 모델을 위한 커널(kernel)에는 선형(linear) 커널이 있고, 비선형을 위한 커널에는 가우시안 RBF 커널과 다항식 커널(poly)이 있습니다. 가우시안 RBF 커널과 다항식 커널은 수학적 기교를 이용하는 것으로, 벡터 내적을 계산한 후 고차원으로 보내는 방법으로 연산량을 줄였습니다(벡터 내적은 별도의 인공지능 수학 관련 도서를 참고하기 바랍니다).
6 저차원 데이터는 특성이 적은 데이터이고, 고차원 데이터는 특성이 많은 데이터입니다.