최적의 직선을 선택한다는 것은 m과 b 혹은 가중치에 가장 적절한 값을 선택한다는 의미입니다. 혹은 공장 기계의 단추를 돌려서 가장 좋은 값에 맞추어 두는 것입니다. 최적의 값은 어떤 절차에 따라 얻을 수 있을까요?

선택할 수 있는 방법은 네 가지입니다.

1. 무작위 추측: 무작위로 수많은 가능성을 테스트하고, 그중 제일 좋은 답을 고릅니다.

2. 무작위 스텝: m과 b를 무작위로 선택해서 직선을 하나 긋습니다. 그리고 이 직선에 무작위로 변형을 가한 후 가장 결과가 좋은 것을 고릅니다. 이 과정을 반복합니다.

3. 똑똑한 스텝: 하나의 직선을 무작위로 고르고, 결과를 확인한 후 어떤 똑똑한 방법으로 변형합니다. 이 과정을 반복합니다.

4. 계산된 지름길: 멋진 수학 공식을 이용하여 사실 A, 사실 B, 사실 C가 참이라면 어떤 직선이 제일 좋다는 것을 증명합니다. 그다음 이 공식에 숫자 몇 개를 집어넣어 최적의 직선을 사용하면 됩니다.

상수만 사용하는 아주 간단한 모델로 이 과정을 한번 돌려 보겠습니다. “왜 상수만 사용하지?”라고 생각할지도 모르겠네요. 두 가지 이유가 있습니다. 첫째, 우리가 그리려는 것은 아주 간단한 수평선입니다. 이 값을 계산하기만 하면 어디서든 같은 결과가 나옵니다. 둘째, 이 직선은 비교를 위해 사용할 수 있는 간단한 베이스라인입니다. 이 간단한 상수 모델이 잘 작동한다면 책을 덮고 집에 가도 됩니다. 더 복잡한 모델의 성능이 상수 모델과 별 차이가 없다면, 복잡한 모델의 가치에 대해 의심하게 됩니다. 요다 선생도 그러한 이야기를 했을 것입니다. “간단한 모델. 절대 얕보지 마라.”