4.4.5 선형 회귀 적용 사례

앞서 배운 아이디어를 이용하면 우리가 가진 데이터 포인트에 직선을 적합하거나 여러 가중치의 값을 찾을 수 있습니다. 더 많은 값을 동시에 또는 순차적으로 처리해야 하는 경우에는 모델이 조금 더 복잡해집니다. 그래도 여전히 네 번째 방법인 계산적 지름길 방식이 최적의 직선을 찾는 정공법입니다. 직선을 적합하는 프로세스를 최소 제곱법이라고 하며, 이는 단순한 평균 대신 방정식을 이용하여 풀 수 있습니다(외울 필요는 없습니다). 세 번째 방법인 똑똑한 스텝은 수학을 이용하여 스텝 방향을 제한합니다. 이는 계산량이 너무 많아 처리할 수 없는 매우 큰 데이터를 다룰 때 보통 사용하는 방법입니다. 이 방법을 경사하강법(Gradient Descent, GD)이라고 합니다. GD는 스텝을 탐사하는 대신 몇 가지 스마트한 계산을 이용해서 개선할 방향을 결정합니다.

나머지 두 방식은 선형 회귀 문제를 푸는 데 일반적으로 잘 사용되지 않습니다. 그러나 몇 가지 부가적인 장치를 사용하면 두 번째 방법인 무작위 스텝은 유전 알고리즘(genetic algorithms)과 흡사합니다. 첫 번째 방법인 무작위 추측은 어떨까요? 그 자체로는 그다지 쓸모 있지 않아요. 그러나 무작위로 시작점을 정하는 아이디어는 다른 방법과 함께 사용할 때 유용합니다. 이 절에서는 네 가지 방법을 간략히 소개했습니다. 다른 장에서도 계속 다루게 될 것이고, 15장에서는 실제로 사용해 볼 것입니다.