2.3.3 특성 스케일을 조정하여 경사 하강법 결과 향상

책에서 살펴볼 머신 러닝 알고리즘들은 최적의 성능을 위해 어떤 식으로든지 특성 스케일을 조정하는 것이 필요합니다. 이것은 3장과 4장에서 자세히 살펴보겠습니다.

경사 하강법은 특성 스케일을 조정하여 혜택을 볼 수 있는 많은 알고리즘 중 하나입니다. 이 절에서는 표준화(standardization)라고 하는 특성 스케일 방법을 사용하겠습니다. 이 정규화 과정은 경사 하강법 학습이 좀 더 빠르게 수렴되도록 돕습니다. 하지만 원본 데이터셋을 정규 분포로 만드는 것은 아닙니다. 표준화는 각 특성의 평균을 0에 맞추고 특성의 표준 편차를 1(단위 분산)로 만듭니다. 예를 들어 j번째 특성을 표준화하려면 모든 샘플에서 평균 를 빼고 표준 편차 로 나누면 됩니다.

여기에서 x_j는 n개의 모든 훈련 샘플에서 j번째 특성 값을 포함한 벡터입니다. 표준화 기법을 데이터셋의 각 특성 j에 적용합니다.