▲ 그림 8-34 배치 정규화
배치 정규화가 소개된 논문에 따르면 기울기 소멸과 폭발 원인은 내부 공변량 변화(internal covariance shift) 때문인데, 이것은 네트워크의 각 층마다 활성화 함수가 적용되면서 입력 값들의 분포가 계속 바뀌는 현상을 의미합니다. 따라서 분산된 분포를 정규 분포로 만들기 위해 표준화와 유사한 방식을 미니 배치(mini-batch)3에 적용하여 평균은 0으로, 표준편차는 1로 유지하도록 하며, 수식은 다음과 같습니다.
3 훈련 데이터에서 일부를 무작위로 뽑아 학습하는 것으로, 표본을 무작위로 샘플링하는 것과 개념적으로 유사합니다.