머신 러닝이 할 수 있는 일은 분류, 회귀, 클러스터링, 차원축소 등으로 분류할 수 있으며, 각 분류 안에 여러 가지 머신 러닝 알고리즘이 있다. 머신 러닝 알고리즘을 살펴보면 K-최근접 이웃(KNN), 선형 회귀, 로지스틱 회귀 등과 같은 간단한 모델부터 서포트 벡터 머신(Support Vector Machine, SVM), 주성분 분석(Principal Component Analysis, PCA), K-평균(K-Means) 알고리즘 등과 같은 복잡한 모델까지 다양하다.

가장 먼저 기본적인 선형 회귀를 갖고 머신 러닝 알고리즘을 알아보자. 회귀(regression)는 통계학에서도 배우는데, 보통 통계학 수업에서는 분석적 해를 구한다.

가령 어느 함수에 1을 입력하면 3이 나오고, 2를 입력하면 5가 나오고, 3을 입력하면 7이 나온다고 하자.

X = [1,2,3] → Y = [3,5,7]

이 함수에 4를 입력하면, 즉 X = 4일 때 Y 값은 어떻게 될까? 직관적으로 Y = 9임을 알 수 있다. 우리 머릿속에 다음과 같은 함수가 만들어진 것이다.

F(x) = 2X + 1

그러나 변수 X가 여러 개이고 데이터가 많아지는 등 식이 복잡해지면 머릿속으로만 계산할 수 없다. 이제 컴퓨터에게 선형 회귀를 맡겨봐야 한다.