이 경우에는 우리가 직접 좌표 변환을 지정했습니다. 사람의 지능으로 이 데이터에 대한 적절한 표현을 생각해 냈습니다. 이런 매우 간단한 문제라면 괜찮지만 손으로 쓴 숫자 이미지를 분류하는 작업에서도 동일하게 할 수 있을까요? 모든 종류의 다양한 필체에 대해 6과 8의 차이점과 1과 7의 차이점을 설명하는 컴퓨터로 실행 가능한 명시적인 이미지 변환을 작성할 수 있을까요?

어느 정도는 가능합니다. ‘닫힌 동심원의 수’와 같이 숫자 표현 기반의 규칙이나 수직 또는 수평 픽셀의 히스토그램(histogram)은 손글씨 숫자를 적절하게 구분할 수 있습니다. 하지만 수동으로 이런 유용한 표현을 찾는 것은 어려운 일입니다. 예상할 수 있겠지만 이렇게 만들어진 규칙 기반 시스템은 망가지기 쉬우며 유지 보수하기 어렵습니다. 신중하게 생각해서 만든 규칙을 벗어나는 새로운 손글씨 숫자 샘플이 나타날 때마다 이전 규칙과의 상호 작용을 고려하면서 새로운 데이터 변환이나 새로운 규칙을 추가해야 할 것입니다.

이 과정이 매우 힘들다면 이를 자동화할 수 있을까 하고 생각할 것입니다. 자동으로 생성한 여러 가지 데이터 표현과 이를 기반으로 하는 규칙 중에서 약간의 개발 데이터셋으로 올바르게 분류된 숫자의 비율을 피드백받아 좋은 것을 체계적으로 찾는다면 어떨까요? 이렇게 하면 머신 러닝을 하고 있는 것입니다. 머신 러닝에서 학습(learning)은 유용한 데이터 표현을 만드는 데이터 변환을 피드백 신호를 바탕으로 자동으로 탐색하는 과정을 말합니다. 이 표현은 더 간단한 규칙으로 문제를 해결할 수 있을 것입니다.