지도 학습은 주로 회귀(regression) 또는 분류(classification)에 사용됩니다. 회귀는 연속된 수치 값을 예측하는 작업입니다. 예를 들어 학생들의 키와 몸무게의 상관관계를 머신 러닝으로 학습하고, 새로운 학생의 키를 입력으로 주었을 때 몸무게를 예측하는 것은 회귀입니다. 반면에 분류는 이산적인 값을 결과로 출력하는 머신 러닝입니다. 예를 들어 사과를 0번 클래스, 바나나를 1번 클래스라고 설정하고, 새로운 사진이 머신 러닝 입력으로 들어오면 결과를 0 또는 1로 나오게 설정하는 것은 분류입니다. 즉, 입력 영상이 사과인지 바나나인지를 구분하는 것을 인식(recognition)이라고도 부르지만 결국은 분류 문제에 해당합니다.

비지도 학습은 훈련 데이터의 정답에 대한 정보 없이 오로지 데이터 자체만을 이용하는 학습 방식입니다. 예를 들어 무작위로 섞여 있는 사과와 바나나 사진을 입력으로 전달하고, 전체 사진을 두 개의 그룹으로 나누도록 학습시키는 방식입니다. 색상 정보만 적절하게 이용하여도 전체 사진을 사과 사진과 바나나 사진으로 구분할 수 있을 것입니다. 다만 비지도 학습의 경우 분리된 두 개의 사진 집합이 무엇을 의미하는지는 알 수 없습니다. 단지 두 사진 집합에서 서로 구분되는 특징을 이용하여 서로 분리하는 작업만 수행하는 것입니다. 비지도 학습은 주로 군집화(clustering)에 사용됩니다.

많은 머신 러닝 알고리즘이 지도 학습을 이용한 영상 분류 문제에 사용되고 있습니다. 사과와 바나나 영상을 구분하는 것도 분류이고, 0부터 9까지의 필기체 숫자를 인식하는 것도 열 개의 클래스 분류 문제에 해당합니다. 이처럼 머신 러닝을 이용하여 분류를 수행할 경우, 학습된 분류 모델이 얼마나 제대로 동작하는지를 확인해야 하는 경우가 있습니다. 학습된 모델의 성능이 좋지 않다면 다른 머신 러닝 알고리즘을 선택하거나 영상에서 다른 특징 벡터를 추출하는 것을 고려해야 하기 때문입니다. 그러므로 많은 사람이 사용할 수 있는 영상 데이터 전체를 학습에 사용하지 않고, 일부는 성능 측정을 위한 테스트 용도로 사용하기도 합니다. 예를 들어 주어진 1만 개의 영상 중에서 8000개만 학습에 사용하고, 나머지 2000개 영상으로는 테스트를 수행하여 머신 러닝 분류 정확도를 계산하는 방식입니다.