‘훈련 데이터셋 1000개에 대한 배치 크기가 20’이라면 샘플 단위 20개마다 모델 가중치를 한 번씩 업데이트시킨다는 의미입니다. 즉, 총 50번(=1000/20)의 가중치가 업데이트됩니다. 이때 에포크가 10이고 배치 크기가 20이라면, 가중치를 50번 업데이트하는 것을 총 열 번 반복한다는 의미입니다. 각 데이터 샘플이 총 열 번씩 사용되는 것이므로, 결과적으로 가중치가 총 500번 업데이트됩니다.
Note ≡ 성능이 좋다는 의미는?
머신 러닝/딥러닝에서 ‘성능(performance)’에 대한 공식적인 정의는 없습니다. 궁극적으로 모델 성능은 데이터가 수집된 산업 분야와 모델이 생성된 목적에 의존한다고 볼 수 있습니다. 즉, 모델 성능이 좋다는 의미는 다음과 같은 다양한 의미로 사용할 수 있습니다.
• 예측을 잘한다(정확도가 높다).
• 훈련 속도가 빠르다.
• 모델(모형) 예측: 검증 데이터셋을 생성한 모델(모형)에 적용하여 실제로 예측을 진행해 보는 단계입니다. 이때 예측력이 낮다면 파라미터를 튜닝하거나 신경망 자체를 재설계해야 할 수도 있습니다.