확률적 경사 하강법의 또 다른 장점은 온라인 학습(online learning)으로 사용할 수 있다는 것입니다. 온라인 학습에서 모델은 새로운 훈련 데이터가 도착하는 대로 훈련됩니다. 많은 양의 훈련 데이터가 있을 때도 유용합니다. 예를 들어 고객 데이터를 처리하는 웹 애플리케이션입니다. 온라인 학습을 사용해서 시스템은 변화에 즉시 적응합니다. 저장 공간에 제약이 있다면 모델을 업데이트한 후 훈련 데이터를 버릴 수 있습니다.
Note ≡ 미니 배치 경사 하강법
완전 배치 경사 하강법과 확률적 경사 하강법 사이의 절충점이 미니 배치 경사 하강법(mini-batch gradient descent)입니다. 미니 배치 경사 하강법은 훈련 데이터의 작은 일부분으로 완전 배치 경사 하강법을 적용한다고 이해할 수 있습니다. 예를 들어 한 번에 32개의 샘플을 사용합니다. 완전 배치 경사 하강법에 비해 장점은 가중치 업데이트가 더 자주 일어나므로 수렴 속도가 더 빠릅니다. 또한, 미니 배치 경사 하강법은 확률적 경사 하강법에서 훈련 샘플을 순회하는 for 반복을 선형대수 개념(예를 들어 점곱을 통한 가중치 합 계산)을 사용한 벡터화된 연산으로 바꾸어 주므로 학습 알고리즘의 계산 효율성이 크게 향상됩니다.